Növekedés/Személyre szabott első nap/Strukturált feladatok/Kép hozzáadása/ötletérvényesítés

This page is a translated version of the page Growth/Personalized first day/Structured tasks/Add an image/Idea validation and the translation is 100% complete.

2020 júniusától 2021 júliusáig a Növekedési csapat közösségi megbeszéléseken, háttérkutatáson, értékeléseken és koncepcióbizonylatokon dolgozott a a "kép hozzáadása" feladat körül. Ez vezetett ahhoz a döntéshez, hogy 2021 augusztusában elkezdjük az első iterációnk építését (lásd Iteration 1). Ez a szakasz tartalmazza az 1. iterációhoz vezető háttérmunkát.

Algoritmus

Az, hogy képesek vagyunk-e strukturált feladatot készíteni a képek hozzáadására, attól függ, hogy tudunk-e olyan algoritmust létrehozni, mely kellően jó ajánlásokat generál. Semmiképpen sem szeretnénk arra ösztönözni a kezdőket, hogy rossz képeket adjanak hozzá a szócikkekhez, ami munkát okozna a járőröknek, hogy utánuk takarítsanak. Ezért az egyik első dolog, amin dolgozunk, hogy megpróbáljuk kideríteni, tudunk-e jó algoritmust készíteni.

Logika

Együtt dolgoztunk a Wikimédia kutatócsoporttal, és eddig egy olyan algoritmust teszteltünk, ami a pontosságot és az emberi megítélést helyezi előtérbe. Ahelyett, hogy bármilyen számítógépes látásmódot használna, ami váratlan eredményeket hozhat, egyszerűen csak a Wikidata meglévő információit összesíti, a tapasztalt szerkesztők által létrehozott kapcsolatokra támaszkodva. Ez a három fő módja annak, hogy a nem illusztrált szócikkekhez találatokat javasol:

Nézd meg a szócikkhez tartozó Wikidata-elemet. Ha van kép (P18), válaszd ki azt a képet.
Nézd meg a szócikk Wikidata-elemét. Ha van hozzá Commons kategória (P373), válassz egy képet a kategóriából.
Nézd meg az ugyanerről a témáról szóló szócikkeket más nyelvű Wikipédiákon. Válassz egy vezető képet ezekből a szócikkekből.

Az algoritmus olyan logikát is tartalmaz, mely például kizárja azokat a képeket, amik valószínűleg ikonok, vagy a szócikkben egy navbox részeként vannak jelen.

Pontosság

2021 augusztusától kezdve az algoritmus három tesztelési körön ment keresztül, minden alkalommal hat nyelv szócikkeit vizsgáltuk: Angol, francia, arab, vietnámi, cseh és koreai nyelven. Az értékeléseket csapatunk nagykövetei és más szakértő wikimédiások végezték, akik anyanyelvi beszélők a tesztelt nyelveken.

Az első két értékelés

Az egyes nyelvek 50 javasolt találatát megvizsgálva átnéztük és az alábbi csoportokba soroltuk azokat:

Osztályozás	Magyarázat	Példa
2	Nagyszerű egyezés a szócikkhez, illusztrálja azt a dolgot, ami a szócikk címe.	A szócikk címe "Pillangó", és ez egy pillangó képe.
1	Jó egyezés, de nehéz megerősíteni a szócikkhez, hacsak a felhasználó nem rendelkezik némi kontextussal, és egy jó feliratra lenne szüksége.	A szócikk címe "Pillangó", és a kép egy fontos tudósról készült, aki a pillangókat tanulmányozza.
0	Egyáltalán nem illik a szócikkhez.	A szócikk címe "Pillangó", és ez egy autó képe.
-1	A kép megfelel a témának, de nem illik a helyi kultúrához.	A szócikk címe "Pillangó", a kép pedig egy különleges pillangó a világ egy olyan részéről, ahol a helyi fajtól eltérő pillangók élnek.
-2	Félrevezető kép, melyet egy kezdő véletlenül helyesnek gondolhat.	A szócikk címe "Pillangó", és ez egy molylepke képe.
-3	Az oldalnak nem kellene képet tartalmaznia.	Zavaró oldalak, listák vagy "adott név" szócikkek.

Az ilyen algoritmusokkal kapcsolatos munka során mindig felmerül a kérdés: mennyire kell pontosnak lennie? Ha a találatok 75%-a jó, az elégséges? Kell-e 90%-os pontosságúnak lennie? Vagy lehet akár 50%-os pontosságú is? Ez attól függ, hogy az algoritmust használó kezdők mennyire jó ítélőképességűek, és mennyi türelemmel rendelkeznek a gyenge találatokhoz. Erről többet fogunk megtudni, amikor az algoritmust valódi kezdőkkel teszteljük.

Az első értékelés során a legfontosabb az, hogy sok olyan egyszerű javítást találtunk az algoritmuson, melyeket könnyen el lehet végezni, például a kizárandó szócikkek és képek típusait illetően. Még e fejlesztések nélkül is a találatok körülbelül 20-40%-a volt "2s", vagyis a szócikkhez nagyszerűen illeszkedett (a wikitől függően). Az első értékelés teljes eredményeit és jegyzeteit itt találod.

A második értékelésnél számos javítás beépítésre került, és a pontosság nőtt. A találatok 50-70%-a volt "2s" (a wikitől függően). A pontosság növelése azonban csökkentheti a lefedettséget, azaz azon szócikkek számát, amelyekre találatokat tudunk találni. Konzervatív kritériumokat használva az algoritmus csak tízezer találatot tud javasolni egy adott wikiben, még akkor is, ha az adott wikinek több százezer vagy millió szócikke létezik. Úgy gondoljuk, hogy ez a fajta mennyiség elegendő lenne a funkció kezdeti változatának elkészítéséhez. A második értékelés teljes eredményeit és jegyzeteit itt olvashatod.

Harmadik értékelés

2021 májusában a Struktúrált Data csapata egy sokkal nagyobb léptékű tesztet végzett a képillesztési algoritmus (és a MediaSearch algoritmus) arab, cebuanói, angol, vietnámi, bengáli és cseh Wikipédiákon. E teszt során a képillesztési algoritmus és a MediaSearch mintegy 500 találatát értékelték az egyes nyelvek szakértői, akik "Jó", "Oké" vagy "Rossz" találatoknak minősítették azokat. Az alábbiakban részletezett eredmények ezeket mutatják:

A képillesztési algoritmus pontossága 65-80% között mozog attól függően, hogy "Jó"-nak vagy "Jó+Oké"-nak számít-e, és a wikitől/értékelőtől függően. Érdekes módon a képillesztések kiértékelésével kapcsolatos tapasztalataink szerint a szakértő wikimédiások gyakran nem értenek egyet egymással, mert mindenkinek saját mércéje van arról, hogy a képeknek helye van-e a szócikkekben.
A Wikidata P18 ("Wikidata") a legerősebb egyezésforrás, 85%-95%-os pontossággal. A más Wikipédiákból ("Wikiközii") és a Wikidata-elemekhez csatolt Commons-kategóriákból ("Commons-kategória") származó képek hasonló mértékben kevésbé pontosak.
A más Wikipédiákból származó képek ("wikiközi") a leggyakoribb találati forrás. Más szóval, ezekből több áll az algoritmus rendelkezésére, mint a másik két forrásból.

Forrás	Pontosság (jó)	Pontosság (jó+rendben)	Lefedettség aránya
Wikidata	85%	93%	7%
Wikiközi	56%	76%	80%
Commons kategória	51%	76%	13%
All	63%	80%	100%

Az eredmények teljes adatkészlete itt található.

Lefedettség

Az algoritmus pontossága egyértelműen nagyon fontos összetevő. Ugyanilyen fontos a "lefedettség" is -- ez arra utal, hogy hány képet tud egyeztetni. A pontosság és a lefedettség általában fordítottan arányos: minél pontosabb egy algoritmus, annál kevesebb javaslatot tesz (mivel csak akkor tesz javaslatot, ha biztos a dolgában). Ezekre a kérdésekre kell válaszolnunk: képes-e az algoritmus annyi találatot adni, hogy érdemes legyen vele egy funkciót építeni? Lényeges hatást tudna-e gyakorolni a wikire? Megnéztünk 22 Wikipédiát, hogy képet kapjunk a válaszokról. Az összefoglaló pontok alatt található a táblázat:

A táblázatban szereplő lefedettségi számok elegendőnek tűnnek egy "kép hozzáadása" funkció első verziójához. Minden egyes wikiben elég jelölt találat van ahhoz, hogy (a) a szerkesztők ne fogyjanak ki, és (b) egy funkció jelentős hatást gyakorolhasson egy wiki illusztráltságára.
A wikik a 20%-os illusztrálatlanság (szerb) és a 69%-os illusztrálatlanság (vietnámi) között mozognak.
7000 (bengáli) és 155000 (angol) között találunk illusztrálatlan cikkeket megfelelő jelöltekkel. Általánosságban elmondható, hogy ez a feladat első verziójához elegendő mennyiség, így a szerkesztőknek bőven van mit keresniük a találatok között. Néhány ritkább wikinél, mint például a bengáli, ez a szám kis számokba kerülhet, amint a szerkesztők leszűkítik az őket érdeklő témákat. Ennek ellenére a bengáliban csak körülbelül 100 000 cikk van összesen, tehát ezek 7%-ára javasolnánk találatokat, ami jelentős.
Ami azt illeti, hogy mekkora javulást érhetünk el a wikik illusztrációiban ezzel az algoritmussal, a plafon 1% (cebwiki) és 9% (trwiki) között mozog. Ez a további szócikkek teljes százalékos aránya, amely illusztrációkkal egészülne ki, ha minden egyezés jó lenne, és hozzáadnánk a wikihez.
Az arzwiki és a cebwiki a wikik, ahol a legalacsonyabb az illusztrálatlan cikkek aránya, melyekhez találunk találatokat, mivel mindkettőnek nagy a botok által létrehozott szócikkek száma. Ennek azért van értelme, mert ezek közül a szócikkek közül sok olyan konkrét városokról vagy fajokról szól, melyekhez a Commonsban nincs kép. De mivel ezekben a wikikben nagyon sok szócikk található, még mindig több tízezer olyan szócikk van, melyre az algoritmusnak van találata.
A távolabbi jövőben reméljük, hogy a képillesztési algoritmus, a MediaSearch vagy a képek feltöltésére/feliratozására/megjelölésére vonatkozó munkafolyamatok fejlesztése több találatot eredményez.

Wiki	Összes szócikk	Kép nélküli szócikkek	Kép nélküli százalékos	Van egyező kép	A kép nélküliek százalékos aránya egyezéssel
enwiki	6 199 587	2 932 613	47%	154 508	5%
trwiki	382 825	151 620	40%	35 561	23%
bnwiki	99 172	33 642	34%	6 921	21%
frwiki	2 273 610	952 994	42%	94 594	10%
ruwiki	1 680 385	584 290	35%	60 415	10%
fawiki	755 709	304 253	40%	55 382	18%
arwiki	1 080 564	581 710	54%	59 551	10%
dewiki	2 506 229	1 190 517	48%	110 771	9%
ptwiki	1 048 255	388 605	37%	79 483	20%
hewiki	282 232	73 261	26%	14 453	20%
cswiki	467 573	182 177	39%	37 300	20%
kowiki	526 990	274 338	52%	48 417	18%
plwiki	1 441 429	560 334	39%	71 456	13%
ukwiki	1 058 563	365 209	35%	51 154	14%
svwiki	3 514 965	1 686 664	48%	91 337	5%
huwiki	479 215	170 936	36%	26 559	16%
euwiki	364 458	105 412	29%	21 481	20%
hywiki	278 487	96 729	35%	13 531	14%
arzwiki	1 171 440	759 418	65%	32 956	4%
srwiki	640 678	126 102	20%	27 326	22%
viwiki	1 259 538	867 672	69%	83 785	10%
cebwiki	5 377 763	1 357 405	25%	61 839	5%

MediaSearch

Amint arról már szó volt, a strukturált adatokkal foglalkozó csoport vizsgálja a MediaSearch algoritmus használatát a lefedettség növelése és több találati lehetőség biztosítása érdekében.

A MediaSearch a hagyományos szövegalapú keresés és a strukturált adatok kombinálásával működik, hogy nyelvfüggetlen módon releváns találatokat adjon a keresésekhez. A Strukturált Data a Commonson részeként a képekhez hozzáadott Wikidata állítások keresési rangsorolási bemenetként való felhasználásával a MediaSearch képes kihasználni az aliasokat, a kapcsolódó fogalmakat és a többnyelvű címkéket, hogy növelje a képek találatainak relevanciáját. A MediaSearch működéséről további információkat itt találhatsz.

2021 februárjától a csapat jelenleg kísérletezik azzal, hogyan lehet a MediaSearch találatokhoz egy olyan megbízhatósági pontszámot biztosítani, melyet a képajánló algoritmus felhasználhat, és amely alapján eldönthető, hogy a MediaSearch általi találat megfelelő minőségű-e a képmegfeleltetési feladatokban való felhasználáshoz. Biztosak akarunk lenni abban, hogy a szerkesztők bíznak a MediaSearch által adott ajánlásokban, mielőtt beépítenénk azokat a funkcióba.

A strukturált adatokkal foglalkozó csapat azt is vizsgálja és prototípust készít, hogy a szerkesztők által generált botok hogyan használhatják a képajánló algoritmus és a MediaSearch által generált eredményeket arra, hogy automatikusan képeket adjanak hozzá a szócikkekhez. Ez egy kísérlet lesz a botoktól hemzsegő wikikben, a közösségi bot-írókkal együttműködve. Többet megtudhatsz erről az igyekezetről, vagy kifejezheted érdeklődésedet a phabricator feladatban való részvétel iránt.

2021 májusában a fenti a "Pontosság" szakaszban idézett értékelésben a MediaSearch jóval kevésbé pontosnak bizonyult, mint a képegyeztető algoritmus Míg a képegyeztető algoritmus kb. 78%-os pontosságú volt, addig a MediaSearch találatai kb. 38%-os pontosságúak lettek. Ezért a növekedési csapat nem tervezi a MediaSearch használatát a "kép hozzáadása" feladat első iterációjában.

Kérdések és megbeszélés

Nyitott kérdések

A képek fontos és látható részét képezik a Wikipédia-élménynek. Nagyon fontos, hogy alaposan átgondoljuk, hogyan működne egy olyan funkció, amely lehetővé tenné a képek egyszerű hozzáadását, mik lennének a lehetséges buktatók, és milyen következményekkel járna a közösség tagjai számára. E célból sok nyitott kérdésünk van, és szeretnénk hallani a közösség tagjainak további felvetéseiről.

Elég pontos lesz-e az algoritmusunk ahhoz, hogy sok jó találatot adjunk?
Milyen metaadatokra van szükségük a kezdőknek a Commonsból és a kép nélküli szócikkből ahhoz, hogy dönteni tudjanak a kép hozzáadásáról?
A kezdők kellően jó ítélőképességgel rendelkeznek-e majd az ajánlások áttekintésekor?
Azok a kezdők, akik nem olvasnak angolul, ugyanolyan jól tudnak majd dönteni, mivel a Commons metaadatainak nagy része angolul van?
Képesek lesznek-e az új felhasználók jó képaláírásokat írni a szócikkekbe helyezett képek mellé?
Mennyire kell a kezdőknek a képeket a "minőségük" alapján megítélniük, szemben a "relevanciájukkal"?
Érdekesnek fogják-e tartani ezt a feladatot a kezdők? Szórakoztatónak? Nehéznek? Könnyűnek? Unalmasnak?
Pontosan hogyan határozzuk meg, hogy mely szócikkekben nincsenek képek?
A kép nélküli szócikkben hol kell elhelyezni a képet? Elég, ha a cikk elejére kerül?
Hogyan tudunk figyelni az ajánlások esetleges torzítására, azaz lehet, hogy az algoritmus sokkal több találatot ad az európai és észak-amerikai témákhoz.
Vajon egy ilyen munkafolyamat vektora lesz a vandalizmusnak? Hogyan lehet ezt megakadályozni?

Megjegyzések a közösségi megbeszélésekből 2021-02-04

2020 decemberétől kezdve öt nyelven (angol, bengáli, arab, vietnámi, cseh) meghívtuk a közösség tagjait, hogy beszélgessenek a "kép hozzáadása" ötletről. Az angol nyelvű megbeszélések többnyire az itteni vitalapon zajlottak, a helyi nyelvű beszélgetések pedig a másik négy Wikipédián. A közösség 28 tagjától hallhattunk véleményt, és ez a rész a legnépszerűbb és legérdekesebb gondolatokat foglalja össze. Ezek a beszélgetések nagyban befolyásolják a következő tervezési sorozatunkat.

Általános - a közösség tagjai általában körültekintően optimisták ezzel az ötlettel kapcsolatban. Más szóval, úgy tűnik, az emberek egyetértenek abban, hogy értékes lenne algoritmusok segítségével képeket hozzáadni a Wikipédiához, de hogy sok lehetséges buktató és mód van arra, hogy ez rosszul sülhet el, különösen a kezdők esetében.
Algoritmus
- Úgy tűnt, hogy a közösség tagjai bíznak az algoritmusban, mivel az csak a tapasztalt felhasználók által a Wikidatába kódolt asszociációkra támaszkodik, nem pedig valamiféle kiszámíthatatlan mesterséges intelligenciára.
- Az algoritmus három forrása (Wikidata P18, interwiki linkek és Commons kategóriák) közül a szerkesztők egyetértettek abban, hogy a Commons kategóriák a leggyengébbek (és a Wikidata a legerősebb). Ez beigazolódott a tesztelésünk során, és lehet, hogy a Commons-kategóriákat kizárjuk a jövőbeli iterációkból.
- Jó tanácsokat kaptunk bizonyos típusú oldalak kizárására a funkcióból: diszharmonizálás, listák, évszámok, jó és kiemelt szócikkek. Lehet, hogy az élő személyek életrajzait is ki akarjuk zárni.
- Azokat a képeket is ki kell zárnunk, melyek törlési sablonnal rendelkeznek a Commonson, és melyek korábban már törlésre kerültek a Wikipédia oldaláról.
Kezdők értékelése
- A közösség tagjai általában attól tartottak, hogy a kezdők rossz ítélőképességet használnak majd, és az algoritmusnak adják meg az előnyt. A szerkesztői tesztekből tudjuk, hogy a kezdők képesek jó ítélőképességet tanúsítani, és úgy gondoljuk, hogy a megfelelő tervezés ezt ösztönözni fogja.
- A Wikipedia Pages Wanting Photos (WPWP) kampány megvitatása során kiderült, hogy bár sok kezdő képes volt jó ítélőképességet tanúsítani, néhány túlbuzgó szerkesztő gyorsan sok rossz találatot hozhat létre, sok munkát okozva a járőröknek. Lehet, hogy valamilyen érvényesítést szeretnénk hozzáadni, hogy megakadályozzuk, hogy a szerkesztők túl gyorsan adjanak hozzá képeket, vagy hogy többszöri visszaállítás után is folytassák a képek hozzáadását.
- A legtöbb közösségi tag megerősítette, hogy a "relevancia" fontosabb, mint a "minőség", amikor arról van szó, hogy egy kép odatartozik-e. Más szóval, ha egy személyről az egyetlen fotó elmosódott, az általában még mindig jobb, mintha egyáltalán nem lenne kép. A kezdőknek meg kell tanítani ezt a normát, miközben a feladatot végzik.
- A kezelőfelületünknek azt kell sugallnia, hogy a szerkesztőknek lassan és óvatosan kell haladniuk, nem pedig azt, hogy minél több találatot próbáljanak meg elvégezni.
- Meg kell tanítanunk a szerkesztőknek, hogy a képeknek tanulságosnak kell lenniük, nem pedig pusztán dekoratívnak.
Felhasználói felület
- Többen javasolták, hogy a szerkesztőknek ne csak egy, hanem több képjelöltet is mutassunk, melyek közül választhatnak. Ezáltal valószínűbbé válna, hogy a szócikkekhez jó képeket csatolnak.
- Sok közösségi tag javasolta, hogy tegyük lehetővé, hogy a kezdők kiválaszthassák az őket érdeklő tématerületeket (különösen a földrajzi területeket) a szócikkekhez, melyekkel dolgozni szeretnének. Ha a kezdők olyan területeket választanak, ahol már van némi ismeretük, akkor talán határozottabb döntéseket tudnak hozni. Szerencsére ez automatikusan része lenne minden olyan funkciónak, melyet a Növekedési csapat épít, mivel már most is engedélyezzük, hogy a szerkesztők 64 témakör közül választhassanak a javasolt szerkesztési feladatok kiválasztásakor.
- A közösség tagjai azt javasolják, hogy a kezdők a lehető legtöbb cikk-környezetet lássák, ne csak egy előnézetet. Ez segít nekik megérteni a feladat súlyosságát, és rengeteg információ áll rendelkezésükre a döntésük meghozatalához.
Elhelyezés a szócikken belül
- Megismertük a Wikidata infoboxokat. Megtanultuk, hogy az ezeket használó wikik esetében a képek lehetőleg a Wikidata infoboxon keresztül jelenjenek meg a Wikidata infoboxon keresztül, nem pedig a szócikken keresztül. Ennek szellemében kutatni fogjuk, hogy mennyire gyakoriak ezek az infoboxok a különböző wikikben.
- Általánosságban úgy tűnik, hogy a "helyezz egy képet a sablonok alá és a tartalom fölé" szabály egy szócikkben a legtöbbször működik.
- Néhány közösségi tag azt tanácsolta nekünk, hogy még ha nem is tökéletes az elhelyezés egy szócikkben, más szerkesztők szívesen kijavítják az elhelyezést, mivel a megfelelő kép megtalálásának nehéz munkája már megtörtént.
Nem angol nyelvű szerkesztők
- A közösség tagjai emlékeztettek bennünket arra, hogy a Commons egyes metaadat elemei, például a feliratok és az ábrázoló megjegyzések, nyelvfüggetlenek lehetnek. Megnéztük, hogy ez pontosan mennyire gyakori ebben a szakaszban.
- Hallottuk azt a javaslatot, hogy még ha a szerkesztők nem is beszélnek folyékonyan angolul, akkor is képesek lehetnek használni a metaadatokat, ha el tudják olvasni a latin betűket. Ez azért van így, mert sok egyezéshez a szerkesztő lényegében csak a szócikk címét keresi valahol a kép metaadataiban.
- Valaki azt az ötletet is felvetette, hogy a metaadatokat gépi fordítással (pl. Google fordító) fordítsák le a helyi nyelvre e funkció céljára.
Feliratok
- A közösség tagjai (és a növekedési csapat tagjai) szkeptikusak azzal kapcsolatban, hogy a kezdők képesek-e megfelelő feliratokat írni.
- Azt a tanácsot kaptuk, hogy mutassunk a szerkesztőknek példákat a feliratokra, és a feliratozandó szócikk típusára szabott iránymutatásokat.

Terv a szerkesztői teszteléshez

A fenti nyitott kérdésekre gondolva, a közösség visszajelzései mellett szeretnénk néhány olyan mennyiségi és minőségi információt is generálni, melyek segítenek egy "kép hozzáadása" funkció létrehozásának megvalósíthatóságát értékelni. Bár az algoritmust már értékeltük a munkatársak és a Wikimédiások körében, fontos látni, hogyan reagálnak rá a kezdők, és hogyan használják az ítélőképességüket, amikor arról döntenek, hogy egy kép beletartozik-e egy szócikkbe.

Ebből a célból a usertesting.com segítségével teszteket fogunk végezni, melyekben a Wikipédia-szerkesztésben járatlan emberek egy prototípusban végigmehetnek a lehetséges képtalálatokon, és "Igen", "Nem" vagy "Nem biztos" válaszokat adhatnak. A teszthez egy gyors prototípust készítettünk, melyet a jelenlegi algoritmussal készült valódi találatokkal támasztottunk alá. A prototípus csak az egyik találatot mutatja meg a másik után, mindezt egy feedben. A képek a Commons összes vonatkozó metaadatával együtt jelennek meg:

Fájlnév
Méret
Dátum
Szerkesztő
Leírás
Felirat
Kategóriák
Címkék

Bár lehet, hogy a jövőben nem ez lesz a munkafolyamat a valódi szerkesztők számára, a prototípus úgy készült, hogy a tesztelők sok potenciális találatot gyorsan át tudjanak nézni, sok információt generálva.

Az interaktív prototípus kipróbálásához használd ezt a linket. Megjegyzendő, hogy ez a prototípus elsősorban az algoritmusból származó találatok megtekintésére szolgál -- a tényleges szerkesztői élményen még nem gondolkodtunk sokat. Valójában nem hoz létre semmilyen szerkesztést. Az algoritmus által javasolt 60 valódi találatot tartalmaz.

A következőkre fogunk figyelni a teszt során:

A résztvevők képesek-e magabiztosan megerősíteni a találatokat a javaslatok és a megadott adatok alapján?
Mennyire pontosak a résztvevők a javaslatok értékelésében? Úgy gondolják, hogy jobb vagy rosszabb munkát végeznek, mint amilyen valójában?
Hogyan érzik magukat a résztvevők a képek ilyen módon történő hozzáadásának feladatával kapcsolatban a szócikkekhez? Könnyűnek/nehéznek, érdekesnek/unalmasnak, jutalmazónak/érdektelennek találják?
Milyen információkat tartanak a résztvevők a legértékesebbnek a képek és a szócikkek egymáshoz való párosításának értékelésében?
Képesek-e a résztvevők a megadott adatok alapján jó képaláírásokat írni az általuk megfelelőnek ítélt képekhez?

Tervezés

A vs. B koncepció

A feladat tervezésén gondolkodva hasonló kérdés, mint amivel a "hivatkozás hozzáadása" esetében szembesültünk az A és a B koncepció tekintetében. Az A koncepcióban a szerkesztők a szerkesztést a szócikknél fejeznék be, míg a B koncepcióban sok szerkesztést végeznének egymás után, mindegyiket egy feedből. Az A koncepció több kontextust ad a szerkesztőnek a szócikkhez és a szerkesztéshez, míg a B koncepció a hatékonyságot helyezi előtérbe.

A fenti interaktív prototípusban a B koncepciót alkalmaztuk, melyben a szerkesztők egy javaslatokból álló feeden keresztül haladnak. Ezt azért tettük, mert a szerkesztői tesztjeink során sok példát akartunk látni arra, hogy a szerkesztők hogyan lépnek kapcsolatba a javaslatokkal. Ez az a fajta kialakítás, ami a legjobban működhet egy olyan platformon, mint a Wikipédia Android-alkalmazása. A Növekedési csapat kontextusában inkább az A koncepcióban gondolkodunk, melyben a szerkesztő a szerkesztést a szócikknél végzi. Ezt az irányt választottuk a "hivatkozás hozzáadása" esetében, és úgy gondoljuk, hogy ugyanezen okokból a "kép hozzáadása" esetében is megfelelő lenne.

Egyetlen vs. többszörös

Egy másik fontos tervezési kérdés, hogy a szerkesztőnek egy egyetlen javasolt képet mutassunk-e meg, vagy több kép közül választhat. Ha több találatot adunk meg, nagyobb az esélye annak, hogy az egyik találat jó. De az is előfordulhat, hogy a szerkesztők azt gondolják, hogy az egyiket kell választaniuk, még akkor is, ha egyik sem jó. Emellett bonyolultabb lesz a tervezés és a kivitelezés, különösen a mobileszközök esetében. Három lehetséges munkafolyamatot modelleztünk:

Egyetlen: ebben a kialakításban a szerkesztő csak egy javasolt képet kap a szócikkhez, és csak azt kell elfogadnia vagy elutasítania. Ez egyszerű a szerkesztő számára.
Többszörös: ennél a kialakításnál a szerkesztőnek több potenciális egyezést mutatunk, melyeket összehasonlíthat, és kiválaszthatja a legjobbat, vagy elutasíthatja az összeset. Aggasztó lenne, ha a szerkesztő úgy érezné, hogy a legjobbat kell hozzáadnia a szócikkhez, még akkor is, ha valójában nem tartozik oda.
Sorozatos: ez a kialakítás több képi egyezést kínál, de a szerkesztő egyszerre csak egyet néz meg, rögzíti az ítéletét, majd a végén kiválasztja a legjobbat, ha jelezte, hogy több mint egy lehetséges egyezés van. Ez segíthet a szerkesztőnek abban, hogy egyszerre egy képre koncentráljon, de a végén egy plusz lépést tesz hozzá.

Szerkesztői tesztek 2020. december

Háttér

2020 decemberében a usertesting.com segítségével 15 tesztet végeztünk a mobil interaktív prototípussal. A prototípus csak kezdetleges dizájnt, kevés kontextust vagy onboardingot tartalmazott, és csak angol nyelven teszteltük olyan szerkesztőkkel, akiknek kevés vagy semmilyen korábbi Wikipédia-szerkesztési tapasztalatuk sem volt. Szándékosan egy kezdetleges kialakítást teszteltünk a folyamat elején, hogy sok tanulságot gyűjthessünk. A teszteléssel elsősorban a funkció egészének megvalósíthatóságát akartuk megvizsgálni, nem pedig a tervezés finomabb részleteit:

A résztvevők képesek-e magabiztosan megerősíteni a találatokat a javaslatok és a megadott adatok alapján?
Mennyire pontosak a résztvevők a javaslatok értékelésében? És hogyan viszonyul a tényleges alkalmasság a javaslatok értékelésében tapasztalt képességeikhez?
Hogyan érzik magukat a résztvevők a képek ilyen módon történő hozzáadásának feladatával kapcsolatban a szócikkekhez? Könnyűnek/nehéznek, érdekesnek/unalmasnak, jutalmazónak/érdektelennek találják?
Milyen metaadatokat tartanak a résztvevők a legértékesebbnek a képek és szócikkek egyezésének értékelésében?
Képesek-e a résztvevők a megadott adatok alapján jó képaláírásokat írni az általuk megfelelőnek ítélt képekhez?

A teszt során arra kértük a résztvevőket, hogy legalább 20 szócikk-kép egyezést kommentáljanak, miközben hangosan beszélnek. Amikor igennel koppintottak, a robot arra kérte őket, hogy írjanak egy képaláírást a szócikkben szereplő képhez. Összesen 399 megjegyzést gyűjtöttünk össze.

Összefoglaló

Úgy gondoljuk, hogy ezek a szerkesztői tesztek megerősítik, hogy sikeresen létrehozhatunk egy "kép hozzáadása" funkciót, de ez csak akkor fog működni, ha jól tervezzük meg. A tesztelők közül sokan jól megértették a feladatot, komolyan vették, és jó döntéseket hoztak -- ez bizalmat ad nekünk, hogy ez olyan ötlet, melyet érdemes megvalósítani. Másrészről viszont sok más szerkesztő nem értette a feladat lényegét, nem értékelte olyan kritikusan, és gyenge döntéseket hozott -- de ezeknek a zavarodott felhasználókat illetően könnyű volt meglátnunk, hogyan javíthatnánk a tervezésen, hogy megfelelő kontextust adjunk nekik és közvetítsük a feladat komolyságát.

Megfigyelések

A teljes megállapítássorozat megtekintéséhez bátran böngészd a diákat. A legfontosabb pontok a diák alatt vannak leírva.

A képek és a Wikipédia-szócikkek megfeleltetése feladatának általános megértése meglehetősen jó volt, figyelembe véve az eszköz számára biztosított minimális kontextust és a Commons illetve a Wikipédia-szerkesztés korlátozott ismereteit. Lehetőség van a megértés fokozására, amint az eszközt a Wikipédia UX alapján újratervezés alá kerül.
Az általunk észlelt általános minta a következő volt: a szerkesztő megnézi a szócikk címét és az első pár mondatot, majd megnézi a képet, hogy kiderítse, vajon hihető-e a megfelelés (pl. ez egy cikk egy templomról, ez pedig egy templom képe). Ezután megkeresné a szócikk címét valahol a kép metaadataiban, akár a fájlnévben, a leírásban, a képaláírásban vagy a kategóriákban. Ha megtalálja, megerősíti az egyezést.
Minden képillesztési feladatot gyorsan elvégezhet egy, a szerkesztésben járatlan személy is. Átlagosan 34 másodpercig tartott egy kép átnézése.
Mindenki azt mondta, hogy szívesen elvégezne egy ilyen feladatot, és a többség könnyűnek vagy nagyon könnyűnek minősítette azt.
A képek és javaslatok minőségének megítélése vegyes volt. Sok résztvevő a képkompozícióra és más esztétikai tényezőkre összpontosított, ami befolyásolta a javaslatok pontosságának megítélését.
A Commonsból származó képi metaadatoknak csak néhány darabja volt kritikus a képillesztés szempontjából: fájlnév, leírás, felirat, kategóriák.
Sok résztvevő időnként helytelenül próbált egy képet a saját adataihoz, nem pedig a szócikkhez illeszteni (pl. "Ez a fájlnév megfelelőnek tűnik a képhez?"). Meg kell vizsgálni az elrendezés és a vizuális hierarchia megváltoztatását, hogy a javasolt kép jobban a szócikk kontextusára fókuszáljon.
A jó találatok "sorozata" néhány résztvevőt önelégültebbé tett a további képek elfogadásával kapcsolatban -- ha egymás után sok "igen" volt, már nem értékelték olyan kritikusan a képeket.
A szerkesztők rosszul végezték a képaláírások hozzáadását. Gyakran írtak magyarázatot arra, hogy miért egyezik a kép, pl. "Ez egy jó minőségű fotó a szócikkben szereplő fickóról". Ez olyasvalami, amin úgy véljük, hogy tervezéssel és a szerkesztő számára adott magyarázattal javítani lehet.

Metrikák

Csapatunk tagjai megjegyzésekkel látták el az összes képegyezést, melyet a teszt során a szerkesztőknek mutattunk, és feljegyeztük a felhasználók által adott válaszokat. Ily módon statisztikákat készítettünk arról, hogy a felhasználók milyen jó munkát végeztek.
A 399 javaslatból, mellyel a szerkesztők találkoztak, 192 alkalommal (48%) koppintottak az "Igen"-re.
Ezek közül 33 nem volt jó találat, és vissza lehetne vonni őket, ha a valóságban is hozzáadnák a szócikkekhez. Ez 17%, és ezt nevezzük "várható visszaállítási aránynak".

Tanulságok

A 17%-os "várható visszaállítási arány" egy nagyon fontos szám, és azt szeretnénk, ha ez a szám a lehető legalacsonyabb lenne. Egyrészt ez a szám közel van a Wikipédiában az új szerkesztők átlagos visszaállítási arányához, vagy alacsonyabb annál (az angol 36%, az arab 26%, a francia 22%, a vietnámi 11%). Másrészt a képek nagyobb hatásúak és jobban láthatóak, mint a szócikken belüli apró változtatások vagy szavak. Figyelembe véve, hogy milyen változtatásokat hajtanánk végre az általunk tesztelt munkafolyamatban (mely a mennyiségre, nem pedig a minőségre volt optimalizálva), úgy gondoljuk, hogy ez a visszaállítási arány jelentősen csökkenne.
Úgy gondoljuk, hogy ez a feladat sokkal jobban működne egy olyan munkafolyamatban, mely a szerkesztőt a teljes szócikkhez vezeti, szemben azzal, hogy gyorsan megmutatja neki az egyik javaslatot a másik után a feedben. A teljes cikkhez való eljutás révén a szerkesztő sokkal több kontextust láthatna, hogy eldönthesse, hogy a kép megfelel-e, és hogy hol lenne a helye a szócikkben. Szerintünk a szerkesztők átéreznék a feladat fontosságát: azt, hogy valóban képet fognak hozzáadni egy Wikipédia-szócikkhez. Ahelyett, hogy a sebességre törekedne, véleményünk szerint a szerkesztő sokkal óvatosabb lenne a képek hozzáadásakor. Ugyanerre a döntésre jutottunk a "hivatkozás hozzáadása" esetében is, amikor a "Fogalom A" munkafolyamat megalkotása mellett döntöttünk.
Azt is hisszük, hogy az eredmények javulni fognak a bevezetéssel, a magyarázattal és a példákkal. Ez különösen igaz a feliratokra. Úgy gondoljuk, ha mutatunk a szerkesztőknek néhány példát a jó feliratokra, rájönnek, hogyan kell azokat megfelelően megírni. Arra is ösztönözhetjük őket, hogy a Commons leírását vagy feliratát használják kiindulópontként.
Csapatunk az utóbbi időben arról vitatkozik, hogy nem lenne-e jobb egy "közös döntési" keretrendszert elfogadni, melyben egy kép csak akkor kerülne egy szócikkhez, ha azt nem csak egy, hanem két szerkesztő is megerősíti. Ez növelné a pontosságot, de kérdéseket vet fel azzal kapcsolatban, hogy egy ilyen munkafolyamat összhangban van-e a Wikipédia értékeivel, és hogy melyik felhasználó kapja meg a szerkesztésért járó elismerést.

Meta adat

A szerkesztői tesztek azt mutatták, hogy a Commonsból származó képi metaadatok (pl. fájlnév, leírás, felirat stb.) kritikus fontosságúak ahhoz, hogy a szerkesztő magabiztosan találjon egyezést. Például, bár a szerkesztő látja, hogy a szócikk egy templomról szól, és hogy a fénykép egy templomot ábrázol, a metaadatok alapján meg tudja állapítani, hogy ez "az" a templom, amelyről a cikk szól. A szerkesztői tesztek során azt tapasztaltuk, hogy a metaadatoknak ezek az elemei voltak a legfontosabbak: fájlnév, leírás, felirat, kategóriák. A nem hasznos elemek közé tartozott a méret, a feltöltés dátuma és a feltöltő felhasználóneve.

Tekintettel arra, hogy a metaadatok döntő szerepet játszanak a határozott döntés meghozatalában, elgondolkodtunk azon, hogy a szerkesztőknek szükségük lesz-e arra, hogy a metaadatok az anyanyelvükön legyenek a feladat elvégzéséhez, különösen annak fényében, hogy a Commons metaadatainak többsége angol nyelvű. 22 wiki esetében megnéztük, hogy az algoritmus által kapott képtalálatok hány százaléka rendelkezik helyi nyelvű metaadatelemekkel. Más szóval, az arab Wikipédia kép nélküli szócikkeihez illeszthető képek közül hánynak van arab nyelvű leírása, felirata és ábrája? A táblázat alatt ezek az összefoglaló pontok:

Általánosságban elmondható, hogy a helyi nyelvű metaadatok lefedettsége nagyon alacsony. Az angol a kivétel.
Az angol kivételével az összes wiki esetében a képmegfelelések kevesebb mint 7%-a rendelkezik helyi nyelvű leírással (az angol 52%).
Az angol kivételével az összes wiki esetében a képek kevesebb mint 0,5%-a rendelkezik helyi nyelvű felirattal (az angol 3,6%).
Az ábrázoló állítások esetében a wikik 3% (szerb) és 10% (svéd) között mozognak a képmegfeleltetések.
A helyi nyelvű leírások és feliratok alacsony lefedettsége azt jelenti, hogy a legtöbb wikiben nagyon kevés olyan kép van, melyet helyi nyelvű metaadatokkal tudnánk ajánlani a szerkesztőknek. A nagyobb wikik némelyikében néhány ezer jelölt van helyi nyelvű leírással. De egyetlen nem angol nyelvű wikinek sincs több mint 1000 jelöltje helyi nyelvű felirattal.
Bár az ábrák lefedettsége nagyobb, arra számítunk, hogy az ábrázoló leírások általában nem tartalmaznak elegendő részletet ahhoz, hogy biztosan találjunk egyezést. Például a chicagói Szent Pál-templomról készült fotóra alkalmazott depicts kijelentés sokkal valószínűbb, hogy "templom", mint hogy "chicagói Szent Pál-templom".
Lehet, hogy a szerkesztői felületeken a helyi nyelvi metaadatokkal ellátott képjavaslatokat szeretnénk előnyben részesíteni, de amíg más funkciókat nem építünk a lefedettség növelésére, a helyi nyelvekre való hagyatkozás nem életképes lehetőség a nem angol nyelvű wikikben.

Wiki	Helyi nyelvi leírás	Helyi nyelvű felirat	Alosztályok
enwiki	51.71%	3.65%	6.20%
trwiki	1.91%	1.32%	4.33%
bnwiki	0.51%	1.08%	5.74%
frwiki	5.95%	0.66%	8.52%
ruwiki	4.05%	0.61%	6.73%
fawiki	0.58%	0.59%	4.06%
arwiki	0.97%	0.59%	7.00%
dewiki	6.11%	0.49%	5.16%
ptwiki	1.38%	0.34%	4.27%
hewiki	1.20%	0.30%	6.18%
cswiki	1.82%	0.23%	5.71%
kowiki	0.97%	0.19%	4.80%
plwiki	1.82%	0.17%	5.93%
ukwiki	1.04%	0.12%	5.95%
svwiki	0.90%	0.07%	10.10%
huwiki	2.28%	0.03%	5.96%
euwiki	0.27%	0.03%	6.20%
hywiki	0.69%	0.03%	5.39%
arzwiki	0.02%	0.01%	6.84%
srwiki	0.36%	0.01%	3.46%
viwiki	0.08%	0.00%	6.63%
cebwiki	0.00%	0.00%	9.93%

Tekintettel arra, hogy a helyi nyelvű metaadatok lefedettsége alacsony, jelenlegi elképzelésünk az, hogy a képillesztési feladatot csak azoknak a szerkesztőknek ajánljuk fel, akik tudnak angolul olvasni, amit a feladat megkezdése előtt gyors kérdésként feltehetünk a szerkesztőknek. Ez sajnos korlátozza azt, hogy hány szerkesztő vehetne részt. Hasonló a helyzet, mint a Content Translation tool esetében, hogy a szerkesztőknek ismerniük kell a forrás-wiki és a cél-wiki nyelvét ahhoz, hogy tartalmat tudjanak átvinni egyik wikiből a másikba. A Növekedési csapat üdvözlő felmérésének eredményei alapján úgy hisszük, hogy elegendő számú ilyen szerkesztő lesz, aki megkérdezi a kezdők nyelvtudását. A wikitől függően a kezdők 20-50%-a választja az angol nyelvet.

Android MVP

Az Android MVP-vel kapcsolatos részleteket lásd ezen az oldalon.

Háttér

Sok közösségi vita, számos belső megbeszélés és a fenti szerkesztői tesztek eredményei után úgy látjuk, hogy ebben a "kép hozzáadása" ötletben van elég potenciál ahhoz, hogy tovább folytassuk. A közösség tagjai általában pozitívak voltak, de egyben elővigyázatosak is -- azt is tudjuk, hogy még mindig sok probléma és érv van, amiért az ötlet nem úgy működik, ahogyan azt elvárnánk. A következő lépés, amit szeretnénk megtenni, hogy többet tudjunk meg, az egy "minimum életképes termék" (MVP) létrehozása a Wikipédia Android alkalmazás számára. A legfontosabb dolog ezzel az MVP-vel kapcsolatban az, hogy nem fog elmenteni semmilyen szerkesztést a Wikipédiára. Inkább csak arra fogjuk használni, hogy adatokat gyűjtsünk, javítsuk az algoritmusunkat és a dizájnunkat.

Az Android alkalmazás az, ahonnan a "javasolt szerkesztések" származnak, és az a csapat rendelkezik egy olyan keretrendszerrel, amely segítségével új feladattípusokat lehet könnyen létrehozni. Ezek a fő darabok:

Az alkalmazásnak lesz egy új feladattípusa, melyről a szerkesztők tudják, hogy csak arra szolgál, hogy segítsen nekünk az algoritmusaink és a formatervezésünk javításában.
A szerkesztőknek képi egyezéseket fog mutatni, ők pedig az "Igen", "Nem", vagy "Hagyd ki" opciót választhatják ki.
Feljegyezzük a választásaik adatait, hogy javíthassuk az algoritmust, meghatározzuk, hogyan javítsuk a kezelőfelületet, és átgondoljuk, hogy a növekedési csapat később mit építhetne a webes platformra.
A Wikipédián nem lesz szerkesztés, így ez egy nagyon alacsony kockázatú projekt.

Eredmények

Az Android-csapat 2021 májusában adta ki az alkalmazást, és több hét alatt több ezer szerkesztő értékelte a képillesztési algoritmus több tízezer képillesztését. Az így kapott adatok alapján a növekedési csapat úgy döntött, hogy folytatja a "kép hozzáadása" feladat 1. iterációját. Az adatok vizsgálata során két fontos kérdésre próbáltunk választ adni az "elkötelezettség" és a "hatékonyság" körül.

Elkötelezettség: minden nyelvi szerkesztőjének tetszik ez a feladat, és meg is szeretné csinálni?

Az Android MVP felhasználói átlagosan körülbelül 11 megjegyzést tettek egyenként. Ez ugyan kevesebb, mint a képleírások és a leírások fordítása, de nagyobb, mint a másik négyféle Android-feladat.
A képillesztési szerkesztések lényegesen alacsonyabb megtartási arányt mutattak, mint a más típusú Android javasolt szerkesztések, de aggodalomra ad okot, hogy nem lehet almás összehasonlításra számítani. Továbbá úgy gondoljuk, hogy az a tény, hogy az ezen MVP szerkesztései valójában nem változtatják meg a wikit, alacsonyabb megtartáshoz vezetne, mivel a szerkesztők kevésbé lennének motiváltak arra, hogy visszatérjenek és többet szerkesszenek.
A nyelv tekintetében adatokat gyűjtöttünk az angol nyelvű Wikipédia szerkesztőiről, valamint olyan felhasználóktól, akik kizárólag nem angol nyelvű Wikipédiát használnak, beleértve a német, török, francia, portugál és spanyol Wikipédiák nagyszámú értékelését. Arra számítottunk, hogy az angol és a nem angol nyelvű felhasználóknak meglehetősen eltérő tapasztalatai lesznek, mivel a Commonsban található képek metaadatainak többsége angol nyelvű. A mérőszámok azonban figyelemre méltóan hasonlóak voltak a két csoportban, beleértve a teljesített feladatok számát, a feladattal töltött időt, a megtartást és az értékelést. Ez jó előjel arra nézve, hogy ez a feladat a wikik között is használható, bár valószínű, hogy a nem angol Android-felhasználók közül sokan valóban kétnyelvűek.

Hatékonyság: a kapott szerkesztések megfelelő minőségűek lesznek?

Azoknak a találatoknak a 80%-a, melyekre a kezdők igennel válaszoltak, a szakértők szerint valóban jó találatok. Ez körülbelül 5 százalékpontos javulást jelent az algoritmushoz képest.
Ez a szám 82-83%-ra emelkedik, ha eltávolítjuk azokat a kezdőket, akiknek az értékelésre fordított átlagos ideje nagyon alacsony.
A szakértők általában csak az esetek 85%-ában értenek egyet egymással.
Mivel a kezdők pontossága növekszik, ha bizonyos típusú kezdőket eltávolítunk (azokat, akik túl gyorsan értékelnek, vagy akik túl sok javaslatot fogadnak el), úgy gondoljuk, hogy az automatikus "minőségi kapuk" növelhetik a kezdők teljesítményét a közösségek által elfogadható szintre.

A teljes eredmény itt olvasható

Technikai

Ez a rész linkeket tartalmaz arra vonatkozóan, hogy hogyan követheted a projekt technikai aspektusait: