Growth/Personalized first day/Newcomer tasks/Experiment analysis, November 2020/hu

2019 novemberében a Növekedési csapat hozzáadta az "újoncfeladatok" funkciót a kezdők kezdőlapjához. A kezdők feladatai a szerkesztésre javasolt szócikkekből álló, az új belépő érdeklődési köréhez igazított csatornát biztosítanak. A cél az volt, hogy a kezdőknek olyan könnyű szerkesztési lehetőségeket biztosítsunk, melyek érdeklik őket, amikor először érkeznek a wikibe. Feltételezésünk az volt, hogy az eszközök segítségével a kezdők nagyobb valószínűséggel kezdenek el szerkeszteni, megtanulják a szerkesztési készségeket, látják azok hatását, majd folytatják a szerkesztést.

A funkciók hatásának megismerése érdekében a funkciókat egy ellenőrzött kísérletben alkalmaztuk: A kezdők 76%-a kapta meg a funkciókat, 24%-a pedig nem. A kísérlet hat hónapig tartott, és arab, vietnámi, cseh és koreai Wikipédiákról gyűjtöttünk adatokat.



Az eredmények összefoglalása
Az elemzés általánosságban azt mutatta, hogy a Növekedés funkciói javítják az új szerkesztők eredményeit. Az alábbiakban a legfontosabb pontok kerülnek bemutatásra.


 * Azok a kezdők, akik megkapják a Növekedés funkciókat, nagyobb valószínűséggel "aktiválódnak" (azaz elvégzik az első cikkszerkesztést).
 * Úgy véljük, hogy nagyobb valószínűséggel maradnak meg (azaz visszatérnek, és egy másik napon egy másik cikket szerkesztenek).
 * A funkciók emellett növelik a szerkesztési mennyiséget (azaz a szerkesztések számát) anélkül, hogy csökkentenék a konstruktivitást (azaz amikor a szerkesztéseket visszaállítják).

Úgy gondoljuk, hogy ezek az eredmények megerősítik, hogy a Növekedés funkciói, különösen az új szerkesztőknek szánt feladatok arra késztetik őket, hogy többet szerkesszenek, és hosszabb ideig maradjanak a wikin.

Ezen eredmények miatt úgy gondoljuk, hogy minden Wikipédiának fontolóra kellene vennie ezeknek a funkcióknak a bevezetését.

Úgy véljük továbbá, hogy ezek az eredmények azt is igazolják, hogy a növekedési csapatnak tovább kellene dolgoznia a strukturált feladatokon, hogy újfajta, egyszerű szerkesztési munkafolyamatokat hozzon létre az újoncok számára.

Szójegyzék

 * 2020 novemberében tizenhét wiki rendelkezik a növekedési funkciókkal. Kísérletünkben azonban négy kísérleti wikit elemeztünk: Arab, vietnámi, cseh és koreai Wikipédiákat.
 * Nem minden új felhasználó kapja meg a növekedési funkciókat; 20%-uk véletlenszerűen kiválasztva kapja meg az alapértelmezett élményt. A funkciókkal rendelkező csoport a kezelési csoport, az alapértelmezett tapasztalatokkal rendelkező csoport pedig a kontrollcsoport. Az alapértelmezett tapasztalatokból származó számokat kiindulási számoknak nevezzük.
 * Aktiválás alatt azt értjük, ha egy új szerkesztő játékos a regisztrációtól számított 24 órán belül elvégzi első szerkesztését. Az alapszintű aktiválási arány az alapértelmezett jellemzőkkel való aktiválási arány, nem pedig a Növekedési jellemzőkkel.
 * A konstruktív aktiválás azt jelenti, hogy egy kezdő szerkesztő a regisztrációt követő 24 órán belül elvégzi első szerkesztését, és ezt a szerkesztést 48 órán belül nem vonják vissza. A konstruktív aktiválási arány az alapértelmezett funkciókkal rendelkező szerkesztők aránya, nem pedig a növekedési funkciókkal.
 * Megmaradás alatt azt értjük, ha egy új felhasználó az aktiválást követő két héten belül egy másik napon visszatér, és újabb szerkesztést végez. Az alapszintű megtartási arány az alapértelmezett funkciókkal rendelkező szerkesztők aránya, nem pedig a növekedési funkciókkal rendelkezőké.
 * A szerkesztési mennyiség a szerkesztő első két hetében végzett szerkesztések száma. Az alapértelmezett szerkesztési mennyiség az alapértelmezett funkciókkal rendelkező szerkesztők száma, nem pedig a Növekedési funkciókkal rendelkezőké.



Részletes eredmények
Az alábbiakban a kontrollált kísérlet általunk becsült konkrét hatásait mutatjuk be. Ezek mind 97 755 új fiók megfigyelésén alapulnak a kísérleti wikikben, 2019 novembere és 2020 májusa között. A módszertan további részleteiért lásd alább a "Módszertan" című részben.



Aktiválás
Ehhez az elemzéshez a szócikk és a Szócikkvita névtér szerkesztéseire összpontosítottunk.


 * Aktiválás: A növekedési jellemzőkkel rendelkező új felhasználók 11,6%-kal nagyobb valószínűséggel készítik el az első cikkszerkesztést. A négy kísérleti wikiben az alapszintű aktiválási arány 21,6%.  A növekedési funkciók a becslések szerint 24,1%-ra növelik az aktiválást, ami 11,6%-os növekedést jelent az alapértékhez képest.
 * Konstruktív aktiválás: a hatás nagyobb, ha csak a konstruktív aktiválást vizsgáljuk. A Növekedési jellemzőkkel rendelkező új szerkesztők 26,7%-kal nagyobb valószínűséggel készítenek első, nem módosított cikkszerkesztést. A négy kísérleti wikin a konstruktív aktiválási arány alapesetben 16,1%.  A növekedési funkciók a becslések szerint 20,4%-ra növelik ezt az arányt, ami 26,7%-os növekedést jelent az alapértékhez képest.



Megtartás
Mivel a megtartás sokkal ritkább, mint az aktiválás, nehezebb a változásokat kimutatni. Ebben a kísérletben nem észleltünk közvetlenül semmilyen változást. Ehelyett úgy becsüljük, hogy a visszatartás hasonló mértékben nőtt, mint az aktiváció, azaz körülbelül 11,6%-kal. Ez abból az elképzelésből ered, hogy az első napi aktivitás befolyásolja a következő napok aktivitását, amit statisztikai modelljeinkben figyelembe veszünk. Mivel a Növekedési jellemzőkről kiderült, hogy növelik az első napon aktív szerkesztők számát, és nem találunk változást az aktivált felhasználók megtartásának valószínűségében, ebből az következik, hogy az aktiválás növekedése várhatóan a megtartás hasonló mértékű növekedését eredményezi. Más szóval, úgy tűnik, hogy a növekedési funkciók az aktiválás növekedése miatt a megtartás növekedéséhez vezetnek: a növekedési funkciók által aktivált szerkesztők egy része természetesen megtartásra kerül.

Az alapszintű megtartási arány a kísérletben részt vevő négy wiki esetében 3,2%. Becsléseink szerint a növekedési funkciók ezt 3,6%-ra növelik.





Szerkesztési mennyiség
A növekedési funkciók 22%-kal növelik a kezdők által az első két hétben szerkesztett szócikkek számát. Négy kísérleti wikiprogramunkban a szerkesztés becsült alapértéke 1,4, ami azt jelenti, hogy az új szerkesztők átlagosan 1,4 szerkesztést végeznek. A Növekedési funkciókkal rendelkező kezdők a becslések szerint átlagosan 1,7 cikkszerkesztést végeznek.

Más szavakkal:


 * A növekedési funkciók nélkül 1 000 új szerkesztő 1 400 szócikket szerkesztene.
 * 1000 új szerkesztő a növekedési funkciókkal együtt 1700 szócikkszerkesztést végez.

Ez a növekedés egyrészt azt tükrözi, hogy a Növekedési funkciók növelik annak valószínűségét, hogy egy új szerkesztő cikkszerkesztést végez, másrészt azt, hogy egyes kezdők sok javasolt szerkesztést végeznek gyorsan. Néhányan közülük a regisztrációt követő két héten belül több mint 100 szerkesztést végeznek.



Egyéb mérőszámok
Számos más mérőszámot is megvizsgáltunk, kevésbé jelentős eredményekkel.


 * Visszavonások: azt vizsgáltuk, hogy a Növekedési funkciókkal rendelkező új szerkesztők esetében nagyobb vagy kisebb a valószínűsége annak, hogy a szerkesztéseiket visszavonják. Ez az elemzés nem mutatott nagy vagy egyértelmű eredményeket.
 * Magasan aktív új szerkesztők: eredményeink azt mutatják, hogy a Növekedési funkciók hatására több újonc válik aktívvá és végez több szerkesztést. Arra is kíváncsiak voltunk, hogy a funkciók hatására több kezdő válik-e rendkívül aktívvá. Őket úgy definiáltuk, hogy a szerkesztők az első 30 napban 50 szerkesztést végeznek. Ez az elemzés nem mutatott ki a növekedési funkciókból eredő különbségeket.
 * Köszönet: azt vizsgáltuk, hogy a Növekedési funkciókkal rendelkező kezdők több "köszönetet" kapnak-e, mint más szerkesztők. A megtartási elemzéshez hasonló eredményeket találtunk, miszerint arra számítunk, hogy a Növekedési funkciókkal valóban több köszönetet kapnak, de ez csak azért van, mert több szerkesztést okoznak. Ez nem azért lehetséges, mert a funkciók miatt a kezdők olyan szerkesztéseket végeznek, amik nagyobb valószínűséggel vonzanak köszönetet.
 * Wikik és platformok közötti különbségek: összehasonlítottuk a wikiket és a platformokat (mobil vs. asztali). Nem találtunk lényeges különbségeket a Növekedési jellemzők hatásában.



Következtetések

 * A funkciók működnek: a Növekedési csapat funkciói a kezdők elkötelezettségének növelése érdekében működnek. Ez különösen igaz az "újoncfeladatok" komponensre, amely könnyű szerkesztést javasol.
 * Bizalom a strukturált feladatok építésében: ez bizalmat ad nekünk abban, hogy a jelenlegi munkánk, hogy többféle új szerkesztői feladatot készítsünk, mint például a "hivatkozás hozzáadása" feladat, növelni fogja a hatást.
 * A pozitív megerősítés szükségessége: az eredmények azt bizonyították, hogy a Növekedés jellemzői elsősorban az aktiválásra - az új belépők rávezetésére az első szerkesztésekre - vannak hatással, szemben a megtartással. Úgy tűnt, hogy a funkciók csak azért növelik a megtartást, mert fokozzák az aktiválást.  A növekedési csapatnak el kellene gondolkodnia azon, hogy mit lehetne hozzáadni a funkciókhoz annak érdekében, hogy a kezdőket az első szerkesztésük után visszatérésre legyenek ösztönözve.  Ezért idén a "pozitív megerősítéssel" kapcsolatos munkát tervezünk. Ez mérföldköveket és statisztikákat fog hozzáadni, hogy a kezdők lelkesedhessenek a fejlődésük és hatásuk miatt.



Következő lépések

 * Az ige terjesztése: most már nagyobb a bizalmunk a funkciók értékét illetően. Ezért a Növekedési csapat több wikit is arra fog ösztönözni, hogy olvassák el az eredményeket, és vegyék fontolóra a funkciók bevezetését.
 * Continue the work: this year, we'll continue to focus on adding new types of tasks and providing positive reinforcement when newcomers complete tasks.
 * Extend the analysis: now that we have completed this analysis, we're able to more easily run it again in the future. We'll be able to look at how the features impact more wikis, and see how improvements alter their impact.

Methodology
The Growth Team deployed the newcomer tasks module to the Homepage on Czech, Korean, Vietnamese, and Arabic Wikipedias on November 21, 2019. During the experiment, users were randomly assigned to either a treatment or control group. In the treatment group, users received all Growth features (homepage, newcomer tasks, help panel, etc.), while users in the control group received none.

From November 21 until December 12, 2019, the chance of being in the treatment group was 50%. This changed to 80% on December 12, when the team started an A/B test of two variants of the newcomer tasks module.

Users can turn the Growth features on or off in their user preferences at any point. If doing so, they are excluded from this analysis. We also exclude known test accounts, users who registered through the API (these are mainly app accounts), and accounts that are autocreated.

The dataset for this analysis contains 97,755 accounts registered between the start of the experiment and May 14, 2020. Of these, 23,529 (24.1%) are in the control group and 74,226 (75.9%) are in the treatment group.

Our analysis makes extensive use of multilevel (hierarchical) regression models, using the wiki as the grouping variable. This allows us to account for differences between the wikis in our analysis. For example, our activation models are multilevel logistic regression models, which means that they account for the inherent differences in activation rate between the wikis. We also know that editing activity follows a long tail distribution, and therefore model number of edits made using a zero-inflated negative binomial distribution (again using a multilevel model).