Growth/Analytics updates/Help Panel experiment plan/hu

A súgópanel célja, hogy a szerkesztők könnyebben kapjanak segítséget anélkül, hogy el kellene hagyniuk a szerkesztési környezetet. Ez lehetővé teheti számukra, hogy elvégezzék a feladataikat, miközben a Wikipédia közösségével is találkozhatnak a közösség súgószolgálatán feltett kérdéseken és válaszokon keresztül. A szerkesztők segítése a feladatok elvégzésében növelheti az aktiválását (a szerkesztést végző új felhasználók aránya), és potenciálisan a szerkesztők megtartását is (a szerkesztéshez másodszor is visszatérő új felhasználók aránya), ez utóbbi a növekedési csoport átfogó célja.

Annak érdekében, hogy megértsük a segédpanel hatását a szerkesztő aktiválására és megtartására, egy hat hónapos A/B tesztet javasolunk. A teszt során a célzott wikik új regisztrációinak 50%-ánál alapértelmezés szerint engedélyezzük a súgópanelt, 50%-ánál pedig letiltjuk azt. Valószínűleg ezzel egy időben más kísérleteket is fogunk végezni a cél-wikiken, például az üdvözlő felmérésünk változatainak tesztelésével. Ha ezek a kísérletek rétegzett mintavételt igényelnek, gondoskodunk arról, hogy mintavételi stratégiánkat ennek megfelelően módosítsuk.

A segédpanel segítségével vizsgálni kívánt kérdésekkel kapcsolatos további információkért lásd a projektoldal ezen szakaszát. További információért arról, hogy pontosan milyen adatokat fogunk rögzíteni, lásd az EventLogging sémát.

Változatok
Ezen hat hónap alatt a segítségpanel változatainak tesztelését is tervezzük, hogy megértsük, hogyan befolyásolják a segítségkérés munkafolyamatán belüli viselkedést az egyes kezelőfelületi elemek. Nem feledkezünk meg arról, hogy minél erősebb az a hipotézisünk, hogy egy módosított interfész hatással lesz az aktiválásra vagy a megtartásra, annál inkább megzavarja az adott interfészen végzett teszt az aktiválásra és a megtartásra vonatkozó hosszabb távú kísérletünket.

Meg kell határoznunk, hogy melyik változatot teszteljük először, mivel egyszerre csak egyet fogunk tesztelni. Egyik változatot sem fogjuk lefuttatni addig, amíg a nagyobb kísérletet körülbelül egy hónapig nem futtatjuk le a kisebbek beágyazott változatai nélkül. Ez azért szükséges, hogy egyértelműen megtudhassuk, hogy maga a súgópanel hatással van-e az új felhasználók aktiválási arányára.

Iránymutatók és intézkedési tervek
Az A/B teszt időtartama hat hónap, mert ennél rövidebb idő alatt lehetetlen kimutatni az új szerkesztők megtartásának változását a közepes méretű wikiknél (kivéve, ha drasztikusan befolyásoljuk a megtartást, de ezt elég valószínűtlennek tartjuk). Amíg az eredményekre várunk, szeretnénk tudni lépéseket tenni, ha gyanítjuk, hogy valami nincs rendben. Az alábbiakban felvázolunk egy sor forgatókönyvet a fenti mérési stratégiában leírt adatok alapján. Minden egyes forgatókönyvhöz javaslatot teszünk egy intézkedési tervre a helyzet orvoslására.

A vezető mutatók állapota egy hónap elteltével
A súgópanelt 2019. január 11-én telepítettük a cseh és a koreai Wikipédiára. Egy hónappal később összegyűjtöttük mindkét wiki összes addigi regisztrációjának adatait, hogy ki tudjuk értékelni a vezető mutatóinkat, és meg tudjuk állapítani, hogy a funkció bármelyik viselkedése aggályos volt-e. Röviden, bár az értékelés feltár néhány javításra szoruló területet, úgy gondoljuk, hogy a súgópanel eddigi viselkedése egészséges, és nincs negatív hatással a wikikre.

Az ismert tesztfiókokat eltávolítottuk, csakúgy, mint azokat a felhasználókat, akik a preferenciáikban be- vagy kikapcsolták a súgópanelt, mivel a kezelési csoportba vagy a csoportból való önkiválasztás sérti a véletlenszerű csoportbeosztásból eredő egyenlő elvárásokat. Azonban, mint alább látni fogjuk, nagyon kevés szerkesztő változtatta meg a beállításait.

A fenti táblázatban négy olyan küszöbérték van, mely aggasztó lehet, és az alábbi lista elmagyarázza, hogyan gondolkodunk ezekről.


 * A súgópanel meg nem nyitása: mindkét wiki esetében a szám valamivel, de nem riasztóan magasabb a küszöbértéknél. Ez azt az érzést kelti bennünk, hogy egészséges megnyitási arányaink vannak, melyeken van még mit javítani. Ennek szellemében elkezdtük több helyen megjeleníteni a súgópanelt, hogy a szerkesztőknek több lehetőségük legyen megnyitni azt. A súgópanel mostantól olvasási módban jelenik meg a Segítség, a Wikipédia és a Szerkesztői névtérben. Ez a munka a T215664 számú feladatban nyomon követhető és 2019. március 6-ig befejeződött.
 * Nem kattintás a súgó linkekre: Mivel az elemzés azt mutatta, hogy a három cseh linknek alacsony a látogatottsága, eltávolítottuk a jegyezhetőségről szóló további információkhoz vezető linket, és egy kép hozzáadásáról szóló linkkel helyettesítettük, mivel ez utóbbi volt a leggyakrabban a Súgószolgálathoz küldött kérdés és a leggyakrabban kattintott link Koreában. Az útmutatóra mutató linket is átcímkéztük "Gyors útmutató" feliratúvá, mivel a koreai Wikipédiában is ezt használják, ahol ez a második leggyakrabban kattintott link. Ez a munka a T217391 számú feladatban nyomon követhető és 2019. március 6-ig befejeződött.
 * Kérdések feltevésének mellőzése: Utólag visszatekintve, valószínűleg túl ambiciózus volt az az elvárásunk, hogy a súgópanelt megnyitó (és a linkekre nem kattintó) szerkesztők 75%-a kérdést fog feltenni. Elégedettnek érezzük magunkat a csehországi kérdésfeltevések arányával, és azt tapasztaljuk, hogy talán a nyilvános kérdésfeltevés paradigmája nem igazán illik a koreai Wikipédiához, tekintettel a kérdések alacsony arányára. Ez az egyik oka annak, hogy a súgópanel kiegészült a "kereséssel", hogy a szerkesztőknek különböző módjai legyenek a segítség megtalálására, melyek megfelelhetnek a saját preferenciáiknak a keresés módját illetően. Ez a munka a T209301 számú feladatban nyomon követhető és 2019. februűr 25-ig befejeződött.
 * A kérdéses útvonal elindítása és be nem fejezése: az abszolút számok ennél a mérőszámnál még mindig elég alacsonyak ahhoz, hogy nehéz lenne biztonsággal megmondani, hogy a küszöbértéknél jelentősen magasabbak vagyunk-e. Az elemzések idején csak körülbelül 25 ember próbált meg kérdést feltenni. Ezért ezt a mutatót egy későbbi szakaszban újra megvizsgáljuk.