Growth/Personalized first day/Newcomer tasks/Experiment analysis, November 2020/cs

V listopadu 2019 Growth tým přidal funkcí editačních tipů do Domovské stránky nováčka. Editační tipy poskytují seznam článků k editaci, upravený podle zájmů daného nováčka. Cílem bylo zajistit nováčkům jednoduché editace, na kterých by mohli pracovat, když jsou na wiki poprvé. Naší hypotézou bylo, že tento nástroj zvýší pravděpodobnost, že nováčci začnou editovat, naučí se dovednosti potřebné pro editování, zjistí, že jejich editace mají reálný dopad na Wikipedii, a následně budou pokračovat v editování.

Abychom se dozvěděli o dopadu našich funkcí, nasadili jsme je v rámci kontrolovaného experimentu: 76 % nováčků je mělo aktivováno, a zbývajících 24 % ne. Experiment trval šest měsíců, a probíhal na arabské, vietnamské, české a korejské Wikipedii.

Shrnutí poznatků
Analýza prokázala, že funkce týmu Growth zlepšují výsledky práce nováčků. Níže shrnujeme ty nejdůležitější body.


 * Nováčci, u kterých byly funkce týmu Growth aktivovány, se aktivují s větší pravděpodobností (tj. provedou první editaci v hlavním jmenném prostoru).
 * Věříme, že funkce týmu Growth také zvyšují pravděpodobnost udržení nováčka (tj. pravděpodobnost, že se vrátí, a edituje článek v některém z dalších dnů).
 * Naše funkce také zvyšují počet editací bez současného snížení konstruktivnosti editací (tj. počtu revertovaných editací).

Věříme, že tyto výsledky potvrzují, že funkce týmu Growth (zejména editační tipy) mají smysl, a přiměly nováčky u Wikipedie zůstat delší dobu.

Na základě těchto výsledků soudíme, že všechny jazykové verze Wikipedie by měli zvážit implementování těchto funkcí.

Věříme, že tyto výsledky prokazují, že by Growth tým měl pokračovat v práci na strukturovaných editacích, abychom vytvořili jednoduché editační postupy, kterých by nováčci mohli použít.

Slovník pojmů

 * K lednu 2020 jsou funkce týmu Growth nasazeny na sedmnácti projektech. V našem experimentu jsme analyzovali pouze čtyři pilotní projekty: arabskou, vietnamskou, českou a korejskou Wikipedii.
 * Ne všichni nováčci mají funkce týmu Growth aktivovány: 20 % náhodně vybraných nováčků tvoří kontrolní skupinu. The group with the features is the treatment group and the group with the default experience is the control group. Numbers that come from the default experience are called baseline numbers.
 * Aktivovaný nováček je definován jako nováček, který svou první editaci uloží do 24 hodin od registrace. Základní úroveň aktivace je úroveň aktivace s výchozím nastavením funkcí, bez nasazení funkcí týmu Growth.
 * Konstruktivní aktivace je definována pomocí nováčka, který uloží svou první editaci v článku do 24 hodin od registrace, a tato editace není do dalších 48 hodin revertována. The baseline constructive rate is the rate for users with the default features, not the Growth features.
 * Retence je definována pomocí nováčka, který uloží další editaci další den, během následujících dvou týdnů od aktivace. Základní úroveň retence je úroveň retence pro uživatele s výchozími funkcemi, tj. bez funkcí týmu Growth.
 * Počet editací je celkový počtem editací, které uživatel uložil během prvních dvou týdnů od registrace. Základní počet editací je počet editací (viz definice výše) uložený uživateli s výchozími funkcemi, tj. bez funkcí týmu Growth.

Podrobné výsledky
Níže jsou konkrétní výsledky plynoucí z našeho experimentu. Data jsou založená na celkem 97 755 účtech založených na našich pilotních projektech mezi listopadem 2019 a květnem 2020. Pro více informací si můžete přečíst sekci metodologie.



Aktivace
V rámci této analýzy jsme se soustředili na editace v hlavním jmenném prostoru, a přidružených diskusí.


 * Aktivace: nováčci s aktivovanými funkcemi týmu Growth mají o 11,6 % vyšší pravděpodobnost, že uloží svou první editaci. Na našich pilotních projektech je základní úroveň aktivace 21,6 %, funkce týmu Growth zvýšil aktivaci na 24,1 %, což je oproti základní úrovni zvýšení o 11,6 %.
 * Constructive activation : the effect is larger when looking only at constructive activation. Newcomers with Growth features are 26.7% more likely to make a first unreverted article edit.  On our four pilot wikis, the baseline constructive activation rate is 16.1%.  The Growth features are estimated to increase this to 20.4%, which is a 26.7% increase over the baseline.



Retence
Because retention is much more rare than activation, it is harder to detect changes. In this experiment, we did not detect any changes directly. Instead, we estimate that retention is increased to a similar degree that activation is increased, i.e. by about 11.6%. This comes from the idea that activity during the first day affects activity on the following days, something we account for in our statistical models. Since the Growth features are found to increase the number of users who are active on their first day, and we find no change in the probability that activated users are retained, it follows that we can expect the increase in activation to translate into a similar increase in retention. In other words, the Growth features appear to lead to an increase in retention caused by the increase in activation: some of the users that the Growth features activated would naturally go on to being retained.

The baseline retention rate across the four wikis in the experiment is 3.2%. We estimate that the Growth features increase this to 3.6%.



Počet editací
Funkce týmu Growth zvýšily počet editací uložených nováčky o 22 %. Na našich pilotních projektech je základní počet editací 1,4, což znamená, že průměrný nováček uloží celkem 1,4 editace. Nováčci s aktivovanými funkcemi týmu Growth tedy uloží průměrně 1,7 editace.

Jinými slovy:


 * 1 000 nováčků bez funkcí týmu Growth by uložilo 1 400 editací v článcích
 * 1 000 nováčků s funkcemi týmu Growth by uložilo 1 700 editací v článcích

Toto zvýšení reflektuje jak to, že funkce týmu Growth zvyšují pravděpodobnost, že nováček uloží editaci a zároveň, že někteří nováčci dokončí mnoho editačních tipů krátce po sobě. Někteří z nich dokonce uložili více než sto editací během dvou týdnů od registrace.

Další metriky
Podívali jsme se také na některé další metriky, a nalezli jsme některé méně důležité poznatky.


 * Reverty: zjistili jsme, zda nováčci s funkcemi týmu Growth udělají pravděpodobněji editaci, která bude revertována. Nedošli jsme k žádným závěrům.
 * Velmi aktivní nováčci: zjistili jsme, že funkce týmu Growth přiměly více nováčků, aby se stali aktivními editory, a uložili více editací. Chtěli jsme zjistit, zda mezi experimentální a kontrolní skupinou existují nějaké rozdíly. Vysoce aktivní nováčky jsme si definovali jako uživatele, kteří během prvního měsíce od registrace uložili více, než 50 editací. Analýza neprokázala žádné rozdíly.
 * Poděkování: zjišťovali jsme, zda nováčci s funkcemi týmu Growth dostávají více poděkování, než ostatní nováčci. Zjistili jsme, že funkce týmu Growth vedou k více uděleným poděkováním, ovšem to je jen proto, že nováčci uložili více editací, a ne proto, že editace nováčků zvyšují pravděpodobnost udělení poděkování.
 * Odlišnosti mezi projekty a platformami: porovnali jsme jednotlivé projekty a platformy (mobil vs. desktop). Nenašli jsme žádné zásadní rozdíly mezi vlivem funkcí týmu Growth.

Co si z toho odnést?

 * Funkce fungují: funkce týmu Growth vedou k zvýšení aktivity nováčků. To je zejména pravda pro editační tipy, které ukazují snadné editace.
 * Jistota při tvorbě strukturovaných editací: tento projekt nám dává jistotu, že právě vyvíjené další druhy editačních tipů, například "přidání odkazu", ještě zvýší dopad funkcí týmu Growth.
 * Need for positive reinforcement: the results showed that the Growth features primarily impact activation – getting newcomers to make their first edit – as opposed to retention. The features only seemed to increase retention because they increased activation.  The Growth team should think about what we can add to the features to encourage newcomers to return after making their first edits.  Thus, we are planning work on "positive reinforcement" this year. This will add milestones and statistics, so that newcomers can get excited about their progress and impact.

Další kroky

 * Šiřme to do světa: jsme více a více přesvědčeni, že naše funkce mají svou cenu. Proto tým Growth bude přesvědčovat další projekty, aby si výsledky přečetly, a zvážily nasazení funkcí týmu Growth pro své nováčky.
 * Continue the work : this year, we'll continue to focus on adding new types of tasks and providing positive reinforcement when newcomers complete tasks.
 * Extend the analysis : now that we have completed this analysis, we're able to more easily run it again in the future. We'll be able to look at how the features impact more wikis, and see how improvements alter their impact.

Metodologie
The Growth Team deployed the newcomer tasks module to the Homepage on Czech, Korean, Vietnamese, and Arabic Wikipedias on November 21, 2019. During the experiment, users were randomly assigned to either a treatment or control group. In the treatment group, users received all Growth features (homepage, newcomer tasks, help panel, etc.), while users in the control group received none.

From November 21 until December 12, 2019, the chance of being in the treatment group was 50%. This changed to 80% on December 12, when the team started an A/B test of two variants of the newcomer tasks module.

Users can turn the Growth features on or off in their user preferences at any point. If doing so, they are excluded from this analysis. We also exclude known test accounts, users who registered through the API (these are mainly app accounts), and accounts that are autocreated.

The dataset for this analysis contains 97,755 accounts registered between the start of the experiment and May 14, 2020. Of these, 23,529 (24.1%) are in the control group and 74,226 (75.9%) are in the treatment group.

Our analysis makes extensive use of multilevel (hierarchical) regression models, using the wiki as the grouping variable. This allows us to account for differences between the wikis in our analysis. For example, our activation models are multilevel logistic regression models, which means that they account for the inherent differences in activation rate between the wikis. We also know that editing activity follows a long tail distribution, and therefore model number of edits made using a zero-inflated negative binomial distribution (again using a multilevel model).