Growth/Analytics updates/Help Panel experiment plan/cs

Smyslem projektu panel Potřebuji pomoc je poskytnout uživatelům jednoduší cesty, jak získat pomoc, bez toho, aniž by museli opustit editační rozhraní. Toto jim umožňuje dokončit své úkoly, zatímco se seznámí i s komunitou Wikipedie pomocí otázek a odpovědí na stránce Potřebuji pomoc. Pomáhání nováčkům dokončit jejich úkoly také může vést ke zvýšení množství nováčků, kteří alespoň jednou editují (aktivace nováčka), a také k zvýšení množství těch, kteří editují alespoň dvakrát (udržení nováčka). Zvýšení druhé zmíněné sledované položky je hlavním cílem týmu Growth.

Abychom mohli zjistit, jaký má panel Potřebuji pomoc vliv na aktivaci a udržení nováčků, navrhli jsme šestiměsíční A/B testování. Během tohoto testování mělo 50 % nových účtů panel aktivováno a 50 % deaktivováno. Pravděpodobně bude na stejných cílových projektech spuštěno více experimentů tohoto druhu, kupř. testování variant uvítacího dotazníku. Pokud tyto experimenty vyžadují stratifikovaný výběr vzorků (druh náhodného vícestupňového výběru), zajistíme, aby byly odpovídajícím způsobem upraveny naše vzorkovací strategie.

Pro více informací o tom, na jaké otázky chceme pomocí panelu získat odpovědi, sledujte tuto sekci projektové stránky. Pro více informací o tom, jaká data zaznamenáváme, se podívejte na konfiguraci zaznamenávacího nástroje.

Varianty
Během těchto šesti měsíců si představujeme, že naše testování bude vypadat tak, abychom mohli pochopit, jak jednotlivé součásti rozhraní ovlivňují workflow získávání pomoci. Také si budeme pamatovat, že čím více ovlivňují změny rozhraní aktivaci a udržení nováčka, tím více tento test může zmást náš dlouhodobý experiment aktivace a udržení.

Budeme muset nastavit jednotlivým testovacím scénářům různé priority, protože budeme testovat pouze jeden scénář najednou. Také nebudeme pouštet žádné testovací scénáře dříve než po měsíci běhu většího experimentu, bez pozměnění kterýmkoliv z těchto scénářů. Takhle jsme se rozhodli proto, abychom mohli rozpoznat, zda má panel sám o sobě vliv na aktivaci nováčků.

Hlavní indikátory a plány
A/B testování provádíme po dobu šesti měsíců proto, že je nemožné detekovat změny v udržení nováčků na středně velkých Wikipediích (vyjma případů, kdy se tato metrika dramaticky změní, ale to vnímáme jako něco velmi nepravděpodobného). Během čekání na výsledky chceme být připraveni provést změny, pokud se domníváme, že to je třeba. Níže se nachází seznam různých možností. Pro každou možnost navrhujeme nápravné opatření. While we wait for our results we want to be able to take action if we suspect that something is amiss. Below, we sketch out a set of scenarios based on the data described in the instrumentation strategy above. For each scenario, we propose a plan of action to take to remedy the situation.

Stav indikátorů po jednom měsíci
Panel Potřebuji pomoc byl nasazen na české a korejské Wikipedii dne 11. ledna 2019. O měsíc později jsme sesbírali data z obou projektů, abychom mohli prozkoumat ukazatele zmíněné výše a zjistit, zda by některá z funkcí měla být pozměněna. Zkráceně, ačkoliv naše vyhodnocení ukazuje možnost pro zlepšení, myslíme si, že panel Potřebuji pomoc je zatím zdraví a že nemá negativní vliv na projekty, kde je nasazen.

Známé testovací účty byly odebrány, stejně jako uživatelé, kteří si panel Potřebuji pomoc vypli nebo zapli ve svém nastavení (to proto, že pak nebudeme moci předpokládat, že obě dvě skupiny by se průměrně chovaly stejně). Jak ale uvidíte níže, velmi málo uživatelů si změnilo své nastavení.

V této tabulce jsou 4 hodnoty, které jsou důvodem k obavám. Seznam níže vysvětluje, jak o nich přemýšlíme.

This makes us feel like we have healthy open rates that have room for improvement. In that vein, we have started to display the help panel in more places, so that users have more opportunities to open it up. The help panel is now being displayed in reading mode in the Help, Wikipedia, and User namespaces. This work was tracked in T215664 and completed by March 6, 2019. We also relabelled the link to the guide to be labelled "Quick tutorial", because that is what is used in the Korean Wikipedia, where that is the second most frequently clicked link. This work was tracked in T217391 and completed by March 6, 2019. We feel comfortable with the rate of questions being asked in Czech, and we are learning that perhaps the paradigm of asking public questions is not a great fit for Korean Wikipedia, given the low rate of questions there. This is one of the reasons we added "search" to the help panel, so that users would have different ways to find help that might fit their own preferences of how to find it. This work was tracked in T209301 and completed by February 25, 2019. At the time of this analysis, only about 25 people had attempted asking a question. We will therefore revisit this indicator at a later stage.
 * Neotevření panelu Potřebuji pomoc: pro oba dva zkoumané projekty je tato metrika o něco vyšší než původně stanovený práh, avšak tento rozdíl není alarmující. To znamená, že máme prostor pro zlepšení, ale panel je otvírán dostatečně často. Abychom tohoto zlepšení dosáhli, zobrazujeme panel Potřebuji pomoc na více místech, aby uživatelé měli více příležitostí ho otevřít. Panel Potřebuji pomoc se nyní navíc zobrazuje ve čtecím módě pro stránky v jmenném prostoru Nápověda, Wikipedie a Wikipedista. Tato práce byla sledovaná v T215664 a dokončena dne 6. března 2019.
 * Neklikání na odkazy s nápovědou: protože analýza ukázala, že na tři české odkazy s nápovědou bylo málo klikáno, odebrali jsme odkaz s informacemi o encyklopedické významnosti a nahradili ho s odkazem na nápovědu o obrázcích, jelikož tato otázka byla nejčastější otázkou, na kterou se nováčci psali, a nejvíce klikaný odkaz v korejské Wikipedii. Také jsme změnili popis odkazu na průvodce na "Rychlý průvodce", protože tento popis je použit v korejské Wikipedii, kde je to druhý nejvíce používaný odkaz. Tato práce byla sledována v T217391 a dokončena 6. března 2019.
 * Nepokládání otázek: při zpětném pohledu bylo naše očekávání, že 75 % uživatelů, kteří otevřou panel Potřebuji pomoc (a nekliknou na žádný odkaz) položí nějakou otázku příliš ambiciózní. Jsme spokojení s množstvím otázek na české Wikipedii a snažíme se dozvědět, proč je na korejské Wikipedii pokládáno mnohem méně otázek. Toto je jeden z důvodů, proč jsme přidali možnost prohledávat nápovědu, aby uživatelé měli možnost najít odpověď na svou otázku tak, jak to vyhovuje jim samým. Tato práce byla sledována v T209301 a dokončena 25. února 2019.
 * Nedokončování otázek: absolutní čísla pro tuto metriku jsou stále příliš nízká, takže je obtížné s jistotou říci, zda jsme práh výrazně překročili. V čase psaní této analýzy, pouze 25 uživatelů se pokusilo položit otázku. V budoucnosti tento indikátor znovu zanalyzujeme.