Growth/Analytics updates/Help Panel experiment plan/hu

A súgópanel célja, hogy a szerkesztők könnyebben kapjanak segítséget anélkül, hogy el kellene hagyniuk a szerkesztési környezetet. Ez lehetővé teheti számukra, hogy elvégezzék a feladataikat, miközben a Wikipédia közösségével is találkozhatnak a közösség súgószolgálatán feltett kérdéseken és válaszokon keresztül. A szerkesztők segítése a feladatok elvégzésében növelheti az aktiválását (a szerkesztést végző új felhasználók aránya), és potenciálisan a szerkesztők megtartását is (a szerkesztéshez másodszor is visszatérő új felhasználók aránya), ez utóbbi a növekedési csoport átfogó célja.

Annak érdekében, hogy megértsük a segédpanel hatását a szerkesztő aktiválására és megtartására, egy hat hónapos A/B tesztet javasolunk. A teszt során a célzott wikik új regisztrációinak 50%-ánál alapértelmezés szerint engedélyezzük a súgópanelt, 50%-ánál pedig letiltjuk azt. Valószínűleg ezzel egy időben más kísérleteket is fogunk végezni a cél-wikiken, például az üdvözlő felmérésünk változatainak tesztelésével. Ha ezek a kísérletek rétegzett mintavételt igényelnek, gondoskodunk arról, hogy mintavételi stratégiánkat ennek megfelelően módosítsuk.

A segédpanel segítségével vizsgálni kívánt kérdésekkel kapcsolatos további információkért lásd a projektoldal ezen szakaszát. További információért arról, hogy pontosan milyen adatokat fogunk rögzíteni, lásd az EventLogging sémát.

Változatok
Ezen hat hónap alatt a segítségpanel változatainak tesztelését is tervezzük, hogy megértsük, hogyan befolyásolják a segítségkérés munkafolyamatán belüli viselkedést az egyes kezelőfelületi elemek. Nem feledkezünk meg arról, hogy minél erősebb az a hipotézisünk, hogy egy módosított interfész hatással lesz az aktiválásra vagy a megtartásra, annál inkább megzavarja az adott interfészen végzett teszt az aktiválásra és a megtartásra vonatkozó hosszabb távú kísérletünket.

Meg kell határoznunk, hogy melyik változatot teszteljük először, mivel egyszerre csak egyet fogunk tesztelni. Egyik változatot sem fogjuk lefuttatni addig, amíg a nagyobb kísérletet körülbelül egy hónapig nem futtatjuk le a kisebbek beágyazott változatai nélkül. Ez azért szükséges, hogy egyértelműen megtudhassuk, hogy maga a súgópanel hatással van-e az új felhasználók aktiválási arányára.

Iránymutatók és intézkedési tervek
Az A/B teszt időtartama hat hónap, mert ennél rövidebb idő alatt lehetetlen kimutatni az új szerkesztők megtartásának változását a közepes méretű wikiknél (kivéve, ha drasztikusan befolyásoljuk a megtartást, de ezt elég valószínűtlennek tartjuk). Amíg az eredményekre várunk, szeretnénk tudni lépéseket tenni, ha gyanítjuk, hogy valami nincs rendben. Az alábbiakban felvázolunk egy sor forgatókönyvet a fenti mérési stratégiában leírt adatok alapján. Minden egyes forgatókönyvhöz javaslatot teszünk egy intézkedési tervre a helyzet orvoslására.

A vezető mutatók állapota egy hónap elteltével
A súgópanelt 2019. január 11-én telepítettük a cseh és a koreai Wikipédiára. Egy hónappal később összegyűjtöttük mindkét wiki összes addigi regisztrációjának adatait, hogy ki tudjuk értékelni a vezető mutatóinkat, és meg tudjuk állapítani, hogy a funkció bármelyik viselkedése aggályos volt-e. Röviden, bár az értékelés feltár néhány javításra szoruló területet, úgy gondoljuk, hogy a súgópanel eddigi viselkedése egészséges, és nincs negatív hatással a wikikre.

Az ismert tesztfiókokat eltávolítottuk, csakúgy, mint azokat a felhasználókat, akik a preferenciáikban be- vagy kikapcsolták a súgópanelt, mivel a kezelési csoportba vagy a csoportból való önkiválasztás sérti a véletlenszerű csoportbeosztásból eredő egyenlő elvárásokat. Azonban, mint alább látni fogjuk, nagyon kevés szerkesztő változtatta meg a beállításait.

There are four thresholds in the table above that are cause for concern, and the list below explains how we're thinking about them.

This makes us feel like we have healthy open rates that have room for improvement. In that vein, we have started to display the help panel in more places, so that users have more opportunities to open it up. The help panel is now being displayed in reading mode in the Help, Wikipedia, and User namespaces. This work was tracked in T215664 and completed by March 6, 2019. We also relabelled the link to the guide to be labelled "Quick tutorial", because that is what is used in the Korean Wikipedia, where that is the second most frequently clicked link. This work was tracked in T217391 and completed by March 6, 2019. We feel comfortable with the rate of questions being asked in Czech, and we are learning that perhaps the paradigm of asking public questions is not a great fit for Korean Wikipedia, given the low rate of questions there. This is one of the reasons we added "search" to the help panel, so that users would have different ways to find help that might fit their own preferences of how to find it. This work was tracked in T209301 and completed by February 25, 2019. At the time of this analysis, only about 25 people had attempted asking a question. We will therefore revisit this indicator at a later stage.
 * Not opening the help panel: for both wikis, the number is somewhat, but not alarmingly higher than the threshold.
 * Not clicking help links: since the analysis showed that three Czech links were getting low traffic, we removed the link to more information about notability and replaced it with a link about how to add an image, as the latter was the most frequent question posted to the Help Desk and the most frequently clicked link in Korean.
 * Not asking questions: in retrospect, our expectation that 75% of users who open the help panel (and don't click links) would ask a question was likely too ambitious.
 * Starting the question path and not completing it: the absolute numbers for this metric are still low enough that it is hard to say with confidence whether we are notably higher than the threshold.