Growth/Personalizovaný první den/Úkoly pro nováčky/Experimentální analýza, listopad 2020
 | Tato stránka ve zkratce: Analýza zjistila, že editační tipy přispěly k zvýšení následujících metrik:
|
|
Newcomer tasks experiment analysis
Results from controlled experiment testing efficacy of Growth features.
|
V listopadu 2019 Growth tým přidal funkcí editačních tipů do Domovské stránky nováčka. Editační tipy poskytují seznam článků k editaci, upravený podle zájmů daného nováčka. Cílem bylo zajistit nováčkům jednoduché editace, na kterých by mohli pracovat, když jsou na wiki poprvé. Naší hypotézou bylo, že tento nástroj zvýší pravděpodobnost, že nováčci začnou editovat, naučí se dovednosti potřebné pro editování, zjistí, že jejich editace mají reálný dopad na Wikipedii, a následně budou pokračovat v editování.
Abychom se dozvěděli o dopadu našich funkcí, nasadili jsme je v rámci kontrolovaného experimentu: 76 % nováčků je mělo aktivováno, a zbývajících 24 % ne. Experiment trval šest měsíců, a probíhal na arabské, vietnamské, české a korejské Wikipedii.
Shrnutí poznatků
Analýza prokázala, že funkce týmu Growth zlepšují výsledky práce nováčků. Níže shrnujeme ty nejdůležitější body.
- Nováčci, u kterých byly funkce týmu Growth aktivovány, se aktivují s větší pravděpodobností (tj. provedou první editaci v hlavním jmenném prostoru).
- Věříme, že funkce týmu Growth také zvyšují pravděpodobnost udržení nováčka (tj. pravděpodobnost, že se vrátí, a edituje článek v některém z dalších dnů).
- Naše funkce také zvyšují počet editací bez současného snížení konstruktivnosti editací (tj. počtu revertovaných editací).
Věříme, že tyto výsledky potvrzují, že funkce týmu Growth (zejména editační tipy) mají smysl, a přiměly nováčky u Wikipedie zůstat delší dobu.
Na základě těchto výsledků soudíme, že všechny jazykové verze Wikipedie by měli zvážit implementování těchto funkcí.
Věříme, že tyto výsledky prokazují, že by Growth tým měl pokračovat v práci na strukturovaných editacích, abychom vytvořili jednoduché editační postupy, kterých by nováčci mohli použít.
Slovník pojmů
- K lednu 2020 jsou funkce týmu Growth nasazeny na sedmnácti projektech. V našem experimentu jsme analyzovali pouze čtyři pilotní projekty: arabskou, vietnamskou, českou a korejskou Wikipedii.
- Ne všichni nováčci mají funkce týmu Growth aktivovány: 20 % náhodně vybraných nováčků tvoří kontrolní skupinu. Skupina s funkcemi je treatment group (skupina s úpravami) a skupina s výchozí zkušeností je control group (kontrolní skupina). Čísla, která pocházejí z výchozího prostředí, se nazývají baseline (základní) čísla.
- Aktivovaný nováček je definován jako nováček, který svou první editaci uloží do 24 hodin od registrace. Základní úroveň aktivace je úroveň aktivace s výchozím nastavením funkcí, bez nasazení funkcí týmu Growth.
- Konstruktivní aktivace je definována pomocí nováčka, který uloží svou první editaci v článku do 24 hodin od registrace, a tato editace není do dalších 48 hodin revertována. Základní úroveň konstruktivní aktivace je stejné číslo pro uživatele bez aktivovaných funkcí týmu Growth.
- Retence je definována pomocí nováčka, který uloží další editaci další den, během následujících dvou týdnů od aktivace. Základní úroveň retence je úroveň retence pro uživatele s výchozími funkcemi, tj. bez funkcí týmu Growth.
- Počet editací je celkový počtem editací, které uživatel uložil během prvních dvou týdnů od registrace. Základní počet editací je počet editací (viz definice výše) uložený uživateli s výchozími funkcemi, tj. bez funkcí týmu Growth.
Podrobné výsledky
Níže jsou konkrétní výsledky plynoucí z našeho experimentu. Data jsou založená na celkem 97 755 účtech založených na našich pilotních projektech mezi listopadem 2019 a květnem 2020. Pro více informací si můžete přečíst sekci metodologie.
Aktivace
V rámci této analýzy jsme se soustředili na editace v hlavním jmenném prostoru, a přidružených diskusí.
- Aktivace: Nováčci s aktivovanými funkcemi týmu Growth mají o 11,6 % vyšší pravděpodobnost, že uloží svou první editaci. Na našich pilotních projektech je základní úroveň aktivace 21,6 %, funkce týmu Growth zvýšil aktivaci na 24,1 %, což je oproti základní úrovni zvýšení o 11,6 %.
- Konstruktivní aktivace: Efekt je vyšší, pokud se díváme jen na konstruktivní aktivaci. Nováčci s aktivovanými funkcemi týmu Growth uloží svou první editaci v článku, která nebude revertována, s pravděpodobností o 20,4 % vyšší, než nováčci bez funkcí týmu Growth. Na našich čtyřech projektech je základní úroveň konstruktivní aktivace 16,1 %. Funkce týmu Growth toto číslo zvýšily na 20,4 %, což je navýšení o 26,7 %.
Retence
Protože retence je výrazně méně častá, než aktivace, je obtížnější odhalit změny. V tomto experimentu jsme nezjistili žádné změny v retenci přímo. Namísto toho předpokládáme, že se retence zvýší obdobně, jako aktivace, tj. zvýší se zhruba o 11,6 %. To vyplývá z toho, že navýšení aktivity v průběhu prvního dne se promítne také do aktivity ve dnech následujících, což je fakt, který při tvorbě svých modelů bereme do úvahy. Jelikož funkce týmu Growth zvyšují počet aktivních uživatelů během prvního dne, a nenalezli jsme žádnou změnu v pravděpodobnosti, že aktivovaní uživatelé u Wikipedie i zůstanou, znamená to, že můžeme obdobné navýšení čekat i u retence. Jinými slovy, funkce týmu Growth přispívají k navýšení retence pomocí navýšení aktivace: Někteří z aktivovaných uživatelů u Wikipedie nepochybně zůstanou.
Základní úroveň retence je 3,2 %. Čekáme, že funkce týmu Growth tuto hodnotu navýší na 3,6 %.
Počet editací
Funkce týmu Growth zvýšily počet editací uložených nováčky o 22 %. Na našich pilotních projektech je základní počet editací 1,4, což znamená, že průměrný nováček uloží celkem 1,4 editace. Nováčci s aktivovanými funkcemi týmu Growth tedy uloží průměrně 1,7 editace.
Jinými slovy:
- 1 000 nováčků bez funkcí týmu Growth by uložilo 1 400 editací v článcích
- 1 000 nováčků s funkcemi týmu Growth by uložilo 1 700 editací v článcích
Toto zvýšení reflektuje jak to, že funkce týmu Growth zvyšují pravděpodobnost, že nováček uloží editaci a zároveň, že někteří nováčci dokončí mnoho editačních tipů krátce po sobě. Někteří z nich dokonce uložili více než sto editací během dvou týdnů od registrace.
Další metriky
Podívali jsme se také na některé další metriky, a nalezli jsme některé méně důležité poznatky.
- Reverty: Zjistili jsme, zda nováčci s funkcemi týmu Growth udělají pravděpodobněji editaci, která bude revertována. Nedošli jsme k žádným závěrům.
- Velmi aktivní nováčci: Zjistili jsme, že funkce týmu Growth přiměly více nováčků, aby se stali aktivními editory, a uložili více editací. Chtěli jsme zjistit, zda mezi experimentální a kontrolní skupinou existují nějaké rozdíly. Vysoce aktivní nováčky jsme si definovali jako uživatele, kteří během prvního měsíce od registrace uložili více, než 50 editací. Analýza neprokázala žádné rozdíly.
- Poděkování: Zjišťovali jsme, zda nováčci s funkcemi týmu Growth dostávají více poděkování, než ostatní nováčci. Zjistili jsme, že funkce týmu Growth vedou k více uděleným poděkováním, ovšem to je jen proto, že nováčci uložili více editací, a ne proto, že editace nováčků zvyšují pravděpodobnost udělení poděkování.
- Odlišnosti mezi projekty a platformami: Porovnali jsme jednotlivé projekty a platformy (mobil vs. desktop). Nenašli jsme žádné zásadní rozdíly mezi vlivem funkcí týmu Growth.
Co si z toho odnést & další kroky
Co si z toho odnést?
- Funkce fungují: Funkce týmu Growth vedou k zvýšení aktivity nováčků. To je zejména pravda pro editační tipy, které ukazují snadné editace.
- Jistota při tvorbě strukturovaných editací: Tento projekt nám dává jistotu, že právě vyvíjené další druhy editačních tipů, například "přidání odkazu", ještě zvýší dopad funkcí týmu Growth.
- Potřeba pozitivního posílení: Výsledky ukázaly, že funkce Growth primárně ovlivňuje aktivaci – přiměje nováčky provést první úpravy – na rozdíl od zachování. Zdálo se, že funkce pouze zvyšují retenci, protože zvyšují aktivaci. Tým Growth by se měl zamyslet nad tím, co můžeme přidat k funkcím, abychom povzbudili nováčky k návratu po provedení prvních úprav. V letošním roce tedy plánujeme práce na "pozitivním posílení". To přidá milníky a statistiky, aby se nováčci mohli nadchnout pro svůj pokrok a dopad.
Další kroky
- Šiřme to do světa: Jsme více a více přesvědčeni, že naše funkce mají svou cenu. Proto tým Growth bude přesvědčovat další projekty, aby si výsledky přečetly, a zvážily nasazení funkcí týmu Growth pro své nováčky.
- Pokračovat v práci: Tento rok se budeme i nadále zaměřovat na přidávání nových typů úkolů a poskytování pozitivního posílení, když nováčci úkoly dokončí.
- Rozšířit analýzu: Nyní, když jsme tuto analýzu dokončili, jsme schopni ji v budoucnu snadněji spustit znovu. Budeme se moci podívat na to, jak funkce ovlivňují více wikin, a uvidíme, jak vylepšení změní jejich dopad.
Metodologie
Tým Growth nasadil modul úloh pro nováčky na domovskou stránku na české, korejské, vietnamské a arabské Wikipedii 21. listopadu 2019. Během experimentu byli uživatelé náhodně zařazeni do léčebné nebo kontrolní skupiny. V léčebné skupině uživatelé obdrželi všechny Růstové funkce (domovská stránka, úkoly pro nováčky, panel nápovědy atd.), zatímco uživatelé v kontrolní skupině neobdrželi žádné.
Od 21. listopadu do 12. prosince 2019 byla šance být v léčebné skupině 50 %. To se změnilo na 80 % 12. prosince, kdy tým zahájil A/B test dvou variant modulu úloh pro nováčky.
Uživatelé mohou kdykoli zapnout nebo vypnout funkce Growth ve svých uživatelských preferencích. Pokud tak učiní, jsou z této analýzy vyloučeni. Vylučujeme také známé testovací účty, uživatele, kteří se zaregistrovali prostřednictvím rozhraní API (jedná se především o účty aplikací) a účty, které jsou vytvořeny automaticky.
Soubor dat pro tuto analýzu obsahuje 97 755 účtů registrovaných od začátku experimentu do 14. května 2020. Z nich je 23 529 (24,1 %) v kontrolní skupině a 74 226 (75,9 %) je v léčebné skupině.
Naše analýza široce využívá víceúrovňové (hierarchické) regresní modely, přičemž jako proměnnou seskupení používá wiki. To nám umožňuje zohlednit rozdíly mezi wikinami v naší analýze. Například naše aktivační modely jsou víceúrovňové modely logistické regrese, což znamená, že zohledňují inherentní rozdíly v rychlosti aktivace mezi wikinami. Víme také, že editační činnost se řídí distribucí dlouhého chvostu, a proto modelový počet úprav provedených pomocí nulově nafouknutý negativní binomické rozdělení (opět pomocí víceúrovňového modelu).