Growth/Positive reinforcement/cs

Tato stránka popisuje práci týmu Growth na projektu "pozitivní posílení" jako součásti funkcí týmu Growth. Tato stránka obsahuje důležité podklady, návrhy rozhraní, otevřené otázky i rozhodnutí.

Více novinek týkající se práce týmu Growth najdete na obecné stránce s aktualizacemi. Závažné a větší aktuality pak budou vloženy i sem.



Současný stav

 * 2021-03-01: vytvoření projektové stránky
 * 2022-02-25: projekt zahájen, probíhá diskuse s členy týmu
 * 2022-03-01: rozšíření projektové stránky
 * 2022-05-11: diskuse s komunitou
 * 2022-08-12: dokončeno uživatelské testování
 * 2022-11-24: byly přidány aktuální návrhy a plán měření a experimentu
 * 2022-12-01: nový modul dopadu uvolněn do pilotních wikin
 * 2023-02-07: byla zahájena práce na zvyšování úrovně a přizpůsobení chvály a zahájena druhá komunitní diskuse
 * 2023-02-14: publikováno Nováčková úloha Milestone Analysis, která pomůže vést vyrovnávání práce
 * 2023-03-22: Vylepšení funkcí uvolněných jako A/B test na Growth pilotní wikiny
 * 2023-03-24: zveřejněno Děkujeme Analýza využití
 * 2023-05-25: uvolnil modul přizpůsobené chvály na pilotních wikinách Growth
 * Next: uvolněna personalizovaná chvála na všech Wikipediích

Shrnutí
Tým Growth se zaměřil na budování "soudržné zkušenosti pro nováčky", která nováčkům poskytuje "přístup" k prvkům, které jim pomáhají zapojit se do praktické komunity Wikipedie. Za pomocí editačních tipů jsme například nováčkům umožnili snadný přístup k přispívání do Wikipedie a pomocí mentorství jsme jim zpřístupnili možnost kontaktovat svého mentora. Editační tipy pomohly více nováčkům uložit svou první editaci. S tímto úspěchem v zádech jsme se rozhodli povzbudit nováčky, aby uložili ještě více editací. To vede naši pozornost k prvku, který je pro nováčky taktéž důležitý, a na kterém ještě nikdo nepracoval: Vyhodnocení úspěšnosti. Nazýváme tento projekt "pozitivní posílení".

Chceme, aby nováčci pochopili, že trvalé příspěvky na Wikipedii mají pokrok a hodnotu, čímž se zvýší zaháčkování pro ty uživatele, kteří udělali první krok při provádění úprav.

Jednou z otázek, kterou si klademe, je: Jakým způsobem můžeme povzbudit nováčky, kteří si vyzkoušeli svou Domovskou stránku, aby v editování neustávali a využít tak jejich energie?

Pozadí
Když byla Domovská stránka nováčka v roce 2019 poprvé nasazena, obsahovala základní verzi modulu Dopad, který zobrazuje počet návštěv článků upravených nováčkem. Toto je jediná část funkcí týmu Growth, které dávají nováčkovi jakoukoli zpětnou vazbu. Od té doby jsme tuto část Domovské stránky nijak nevylepšili. S tímto výchozím bodem jsme shromáždili několik důležitých poznatků o pozitivním posilování:


 * Od členů komunity jsme o modulu slyšeli dobrou zpětnou vazbu a zkušení redaktoři říkali, že je pro ně zajímavý a cenný.
 * Minulé výzkumy ukázaly, že ocenění od ostatních uživatelů zvyšují retenci uživatelů. Příkladem může být například děkování nováčkům za jejich editace (viz zde a zde). Dalším příkladem může být experiment, který proběhl na německé Wikipedii. Věříme, že ocenění od živých uživatelů budou mít větší účinek než ocenění odeslaná systémem.
 * Členové komunity vysvětlili, že je pro ně důležité, aby nováčci pokračovali se složitějšími úkoly, jakmile se naučí pracovat s těmi jednoduchými.
 * Další platformy, jako je Google, Duolingo nebo Github, používají několik metod pro pozitivní posílení, jako jsou odznaky či cíle.
 * Komunity se obávají toho, že by tento projekt mohl povzbudit nevhodné způsoby editování. Podobné chování jsme viděli v minulosti, když bylo v rámci editačních soutěží možné vyhrát finanční cenu, objevili se účastníci, kteří ukládali editace formálně vyhovující, ale i přesto problematické. Něco obdobného se také děje u rolí (například automatické schválení uživatele), které závisí pouze na počtu uložených editací.



Osobnost uživatele
Existuje mnoho částí cesty nováčka, ve kterých bychom se mohli pokusit zvýšit udržení. Mohli bychom se zaměřit na nováčky, kteří přestali upravovat po jedné nebo několika úpravách, nebo bychom se mohli zaměřit dále na nováčky, kteří přestali upravovat po týdnech aktivity. Pro tento projekt jsme se rozhodli zaměřit na ty nováčky, kteří dokončili svou první editační relaci a které chceme vrátit na druhou relaci. Diagram je znázorňuje žlutou hvězdou.

Chceme se soustředit na nováčky na tomto místě, protože to je nejbližší další místo, kde můžeme pomoci zvýšit retenci nováčků. Je to také místo, kde v současnosti pozorujeme významný úbytek nováčků. Pokud by se nám podařilo více nováčků na tomto místě udržet, mělo by to mít významný vliv na růst komunity wikipedistů.



Výzkum a vývoj
Provedli jsme výzkum různých mechanismů, které se na různých projektech používají k motivování uživatelů, aby přispívali. Toto jsou naše hlavní výzkumné poznatky:


 * Motivace wikimediánů je mnohostranná a s časem se mění. Noví wikipedisté jsou častěji motivováni zvědavostí a sociálními vazbami než ideologií.
 * Interní projekty se zaměřují na vnitřní pobídky, apelují na altruistické motivace a nejsou systematicky uplatňovány.
 * Rozšíření přitažlivosti mimo ideologické motivace může zlepšit rozmanitost udržovaných editorů na Wikipedii.
 * Pozitivně naladěné zprávy od zkušených wikipedistů a mentorů jsou prokazatelně efektivní ve zvýšení krátkodobé retence.

Pro shrnutí našich současných návrhů týkajících se pozitivního posílení se můžete podívat na náš Design Brief (stručný popis vývoje). Tak jak budou pokračovat komunitní konzultace a testy použitelnosti, naše návrhy se budou ještě měnit.

Myšlenky
Když mluvíme o pozitivním posílení, napadají nás tři hlavní myšlenky. U každé z nich nás napadá několik myšlenek, které by se daly realizovat.

Dopad

 * Dopad: Vylepšená verze modulu Dopadu, založená na statistikách, grafech a dalších informacích o příspěvcích uživatele. Nová verze modulu Dopad by nováčkům ukázala více informací o jejich vlivu na projekt Wikimedie. Nováčka by také mohla povzbudit k tomu, aby v editování pokračoval. Oblasti, které můžeme prozkoumat, zahrnují například:
 * Milník navrhovaných úprav, který pobízí uživatele, aby vyzkoušeli navrhované úpravy.
 * Statistiky o tom, jak uživatel editoval v průběhu času (podobné jako informace, které jsou dostupné v X Tools).
 * Počet "obdržených poděkování", abychom zvýraznili možnost získat od komunity ocenění.
 * Nedávná editační aktivita, včetně počtu dní v řadě, po které nováček editoval, za účelem povzbuzení pokračující aktivity na projektu.
 * Zobrazit aktivitu při čtení článků, které nově příchozí v průběhu času upravovali (podobně jako informace na en:Wikipedia:Pageview_statistics).



Zvýšení úrovně

 * Postup na vyšší úroveň: Pro komunity je důležité, aby nováčci postupovali k hodnotnějším úkolům. Ty, kteří dokončují mnoho jednoduchých editačních tipů, chceme přimět k tomu, aby vyzkoušeli i obtížnější úkoly. To se může stát poté, co dokončí určitý počet snadných úkolů, nebo povzbuzením na jejich domovské stránce. Oblasti, které můžeme prozkoumat, zahrnují např.:
 * Po uložení editace nováček uvidí zprávu, která jej motivuje uložit i nějakou další editaci.
 * V modulu Navrhované úpravy poskytneme příležitosti k provádění složitějších úprav, aby se nováčci mohli stát zkušenějšími editory.
 * V modulu Dopad bychom mohli zahrnout sekci věnovanou oceněním či milníkům.
 * Na domovskou stránku přidáme nový modul s nastavenými výzvami, aby získali nějakou odměnu (odznak/certifikát).
 * Využití notifikací k povzbuzení nováčků k tomu, aby vyzkoušeli i složitější úkoly.



Personalizovaná pochvala

 * Personalizovaná chvála: výzkum ukazuje, že chvála a povzbuzení od ostatních uživatelů zvyšují udržení nováčků. Chceme přemýšlet o tom, jak povzbudit zkušené uživatele, aby poděkovali a ocenili nováčky za dobré příspěvky. Možná by k tomu mohli být mentoři vyzváni, aby to udělali na svých panelech mentorů nebo prostřednictvím oznámení. Můžeme využít existujících komunikačních mechanismů, u kterých minulé studie prokázaly určitý pozitivní účinek. Oblasti, které můžeme prozkoumat, zahrnují například:
 * Osobní zpráva od mentora, která se zobrazí v Domovské stránce nováčka.
 * Echo notifikace zaslaná jménem mentora nováčka nebo týmem Growth nadace Wikimedie.
 * "Poděkování" zaslané za určitou editaci
 * Nový milník udělený mentorem nebo týmem Wikimedia Growth související s konkrétní úpravou.



Diskuse s komunitou
Diskutovali jsme o projektu Positive Reinforcement s členy komunity od ar:ويكيبيديا:مشروع فريق النمو (التعزيز الإيجابي)bn:উইকিপিডিয়া:আলোচনাসভাcs:Diskuse k Wikipedii:Zkušenosti nových wikipedistů/Pozitivní posílenífr:Discussion Projet:Aide et accueil/Volontaires a zde na mediawiki.org.

Obdrželi jsme přímou zpětnou vazbu o třech hlavních myšlenkách spolu s mnoha dalšími nápady na zlepšení udržení nových editorů.

Níže je uveden souhrn hlavních témat ze zpětné vazby spolu s tím, jak plánujeme iteraci na základě zpětné vazby.

Dopad


Personalizovaná pochvala


Další nápady:
Členové komunity navrhli několik dalších nápadů, jak zlepšit zapojení a udržení nováčků. Myslíme si, že to jsou všechno cenné nápady (některé z nich již zkoumáme nebo na nich chceme v budoucnu pracovat), ale následující nápady nezapadají do rozsahu současného projektu:
 * Posílejte nové příchozí a uvítací e-maily (tým Growth aktuálně zkoumá e-maily o zapojení ve spolupráci s marketingovými a fundraisingovými týmy).
 * Vystavte nováčky projektům Wiki, které se týkají jejich zájmů.
 * Zahrňte na domovskou stránku pro nováčky přizpůsobitelný widget, který umožní wikinám propagovat určité úkoly nebo události pro nováčky.
 * Odesílejte upozornění uživatelům, kteří vítají nováčky, jakmile nováček dosáhne určitých milníků úprav (aby uživatele přiměl k poděkování nebo Wikilove).



Druhá konzultace s komunitou:
V únoru 2023 jsme dokončili komunitní konzultaci, ve které jsme zkontrolovali nejnovější návrhy zvyšování úrovně s Growth Pilot wikin. This consultation was completed in English on Mediawiki, and at Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, and Spanish Wikipedia (T328356). Obecně byla zpětná vazba velmi pozitivní. Tyto dva úkoly pomáhají řešit zpětnou vazbu zmíněnou těmi, kteří odpověděli na naše otázky:


 * Zvyšování úrovně: Konfigurace komunity (T328386)
 * Zvyšování úrovně: Druhý návrh iterace dialogu "Vyzkoušejte nový úkol" (T330543)

V březnu 2023 jsme dokončili komunitní konzultaci, ve které jsme zkontrolovali nejnovější personalizované návrhy chvály pomocí wikin Growth Pilot. This consultation was completed on English Wikipedia, Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, French Wikipedia, Spanish Wikipedia, and at Mediawiki in English (T328356). Většina zpětné vazby podporovala funkce přizpůsobené chvály, ale bylo požadováno několik dalších vylepšení. Pro tato další vylepšení jsme vytvořili úlohy Phabricator.


 * Na arabské Wikipedii a dalších wikinách s označenými revizemi chtějí mentoři vidět nejen počet úprav, které uživatel provedl, ale i další podrobnosti o stavu kontroly úprav. (T333035)
 * Mentoři chtějí mít možnost zobrazit počet nebo procento revertů, které jejich svěřenec má, a přizpůsobit, kolik revertů může mít nováček, aby byl považován za chvályhodného. (T333036)
 * Mentoři by ocenili, kdyby věděli, za kterou úpravu je mentorovanému poděkováno. (T51087)



Testy použitelnosti
Spolu s diskusí v komunitě jsme chtěli ověřit a doplnit naše původní návrhy a hypotézy testováním návrhů se čtenáři a editory z několika zemí. Náš tým pro výzkum designu tedy provedl uživatelské testování Positive Reinforcement, jehož cílem bylo lépe porozumět dopadu projektu na příspěvek nováčků v několika různých jazycích.

Testovali jsme několik statických návrhů Positive Reinforcement se čtenáři a editory Wikipedie v arabštině, španělštině a angličtině. Along with testing Positive Reinforcement designs we introduced data visualizations from xtools as a way to better understand how these data visualizations are perceived by newcomers.





Výsledky uživatelského testování

 * Zajištění, aby data dopadu byla použitelná: Údaje o dopadu byly působivou funkcí pro účastníky s většími zkušenostmi s úpravami, z nichž někteří souviseli s jejich zájmem o data – pro Wikipedisty nepřekvapivá kvalita. For those new to editing, impact data, beyond views and basic editing activity, may be more compelling if linked to goal-setting and optimizing impact.
 *  Evaluate the ideal editing interval:  Across features, daily intervals seemed likely to be overly ambitious for new and casual editors. Participants also reflected on ignoring similar mechanisms on other platforms when they were unrealistic. Consider consulting usage analytics to identify “natural” intervals for new and casual editors to make goals more attainable.
 *  Ensure credibility of assessments:  Novice editor participants were interested in the assurance of their skills and progress the quality score, article assessment, and badges offer. Some hoped that badges could lend credibility to their work reviewed by more experienced editors. With that potential, it could be valuable to evaluate that the assessments are meaningful measures of skill and further explore how best to leverage them to garner community trust of newcomers.
 *  Reward quality and collaboration over quantity:  Both editor and reader participants from esWiki were more interested in recognition of their knowledge or expertise (quality) than the number of edits they have made (quantity). Similarly, some Arabic and English editors are motivated by their professional interests and skill development to edit. Orienting goals and rewards to other indicators of skilled edits, such as adding references or topical contributions, and collaboration or community involvement may also help mitigate concerns about competition overtaking collaboration.
 *  Prioritize human recognition:  While scores and badges via Growth tasks is potentially valued, recognition from other editors appears to be more motivational. Features which promote giving, receiving, and revisiting thanks seemed most compelling, and editors may benefit from selecting impact data which demonstrates engagement with readers or editors most compelling to them.
 *  Experiment with playfulness of designs:  While some positive reinforcement features can be seen as the product of “gamification”, some participants (primarily from EsWiki) felt that simple, fun designs were overly childish or playful for the seriousness of Wikipedia. Consider experimenting with visual designs that vary in levels of playfulness to evaluate broader reactions to “fun” on Wikipedia.

Vývoj
Níže jsou uvedeny aktuální návrhy pro Positive Reinforcement. Vylepšili jsme tři hlavní myšlenky nastíněné výše, ale rozsah plánů a skutečné návrhy se vyvíjely na základě zpětné vazby z diskusí komunity a testování uživatelů.

Dopad
Revidovaný modul dopadu poskytuje novým editorům více kontextu o jejich dopadu. Nový návrh obsahuje mnohem více personalizovaných informací a vizualizací dat než předchozí návrh. Tento nový návrh je docela podobný návrhu, který jsme sdíleli dříve, když jsme o této funkci diskutovali s komunitami. Můžete zobrazit aktuální technický pokrok na beta wiki a doufáme, že tuto funkci brzy uvolníme na pilotní wiki Growth.



Zvýšení úrovně
Funkce Zvýšení úrovně se zaměřují na povzbuzení nováčků, aby postupovali k hodnotnějším úkolům. Nápady také zahrnují některé výzvy pro nové editory, aby vyzkoušeli navrhované úpravy, protože se ukázalo, že strukturované úkoly zlepšují aktivaci a udržení nováčků.
 * Dialogová zpráva po úpravě "Zvýšení úrovně": Byl přidán nový typ dialogové zprávy po úpravě, aby nováčky vyzval, aby vyzkoušeli nový typ úkolu. Doufáme, že to povzbudí některé uživatele, aby se naučili nové editační dovednosti, když budou postupovat k různým, náročnějším úkolům.
 * Dialogové okno po úpravách pro nenavrhované úpravy: Představí nováčkům, kteří dokončí "normální" úpravy, navrhované úpravy. Plánujeme experimentovat tím, že nováčkům ukážeme rychlý příspěvek 3. a 7. úprava. Uživatelé počítačů, kteří prokliknou a vyzkouší navrhovanou úpravu, uvidí také svůj modul Dopad, který, jak doufáme, pomůže zapojit nováčky a poskytne malý stupeň automatického pozitivního posílení. Tento experiment pečlivě změříme a zajistíme, aby nedošlo k žádným neúmyslným negativním účinkům.
 * Nová upozornění: Nová ozvěna upozornění, která povzbudí nováčky k zahájení nebo pokračování navrhovaných úprav. Funguje jako proxy pro e-maily "win-back" (získat zpět) pro ty, kteří mají e-mailovou adresu a nastavení pro příjem e-mailových upozornění.



Personalizovaná pochvala
Personalizované funkce chvály jsou založeny na výsledcích výzkumu, které ukazují, že povzbuzení a poděkování od ostatních uživatelů zvyšuje udržení editora.
 * Povzbuzení od mentorů: Na Panel mentora přidáme nový modul, který je navržen tak, aby povzbudil mentory, aby posílali personalizované zprávy nováčkům, kteří splňují určitá kritéria. Umožníme mentorům přizpůsobit a kontrolovat, jak a kdy se "chvályhodní" svěřenci objeví.
 * Stále dík na wiki: Plánujeme splnit položku seznamu přání komunity Aktivovat ve výchozím nastavení tlačítko Díky v seznamech sledovaných a posledních změn (T51541, T90404). Doufáme, že to zvýší díky a pozitivitu napříč wikinami a doufejme, že nováčci z toho budou mít přímý nebo nepřímý prospěch.



Hypotheses
The Positive Reinforcement features aim to provide or improve the tools available to newcomers and mentors in three specific areas that will be described in more detail below. Our hypothesis is that once a newcomer has made a contribution (say by making a structured task edit), these features will help create a positive feedback cycle that increases newcomer motivation.

Below are the specific hypotheses that we seek to validate across the newcomer population. We will also have hypotheses for each of the three sets of features that the team plans to develop. These hypotheses drive the specifics for what data we will collect and how we will analyse that data.


 * 1) The Positive Reinforcement features increase our core metrics of retention and productivity.
 * 2) Since the Positive Reinforcement features do not feature a call to action that asks newcomers to make edits, we will see no difference in our activation core metric.
 * 3) Newcomers who get the Positive Reinforcement features are able to determine that making un-reverted edits is desirable, and we will see a decrease in the proportion of reverted edits.
 * 4) The positive feedback cycle created by the Positive Reinforcement features will lead to a significantly higher proportion of "highly active" newcomers.
 * 5) The Positive Reinforcement features increase the number of Daily Active Users of Suggested edits.
 * 6) The average number of edit sessions during the newcomer period (first 15 days) increases.
 * 7) "Personalized praise" will increase mentor’s proactive communication with their mentees, which will lead to increase in retention and productivity.

Experiment plan
Similarly as we have done for previous Growth team projects, we want to test our hypotheses through controlled experiments (also called "A/B tests"). This will allow us to establish a causal relationship (e.g. "The Leveling Up features cause an increase in retention of xx%"), and it will allow us to detect smaller effects than if we were to give it to everyone and analyze the effects pre/post deployment.

In this controlled experiment, a randomly selected half of users will get access to Positive Reinforcement features (the "treatment" group), and the other randomly selected half will instead get the current (September 2022) Growth feature experience (the "control" group). In previous experiments, the control group has not gotten access to the Growth features. The team has decided to move away from that (T320876), which means that the current set of features is the new baseline for a control group.

The Personalized Praise feature is focused on mentors. There is a limited number of mentors on every wiki, whereas when it comes to newcomers the number increases steadily every day as new users register on the wikis. While we could run experiments with the mentors, we are likely to run into two key challenges. First, the limited number of mentors could mean that the experiments would need to run for a long time. Second, and more importantly, mentors are well integrated into the community and communicate with each other, meaning they are likely to figure out if some have access to features that others do not. We will therefore give the Personalized Praise features to all mentors and examine activity and effects on newcomers pre/post deployment in order to understand the feature’s effectiveness.

In summary, this means we are looking to run two consecutive experiments with the Impact and Leveling up features, followed by a deployment of the Personalized Praise features to all mentors. These experiments will first run on the pilot wikis. We can extend this to additional wikis if we find a need to do that, but it would only happen after we have analyzed the leading indicators and found no concerns.

Each experiment will run for approximately one month, and for each experiment we will have an accompanying set of leading indicators that we will analyze two weeks after deployment. The list below shows what the planned experiments will be:


 * 1) Impact: treatment group gets the updated Impact module.
 * 2) Leveling up: treatment group gets both the updated Impact module and the Leveling up features.
 * 3) Personalized praise: all mentors get the Personalized praise features.

Leading indicators and plan of action
While we believe that the features we develop are not detrimental to the wiki communities, we want to make sure we are careful when experimenting with them. It is good practice to define a set of leading indicators together with plans of what action to take based if a leading indicator suggests something isn't going the way it should. We have done this for all our past experiments and do so again for the experiments we plan to run as part of this project.

Impact
 Impact module interactions:  We find that the proportion of newcomers who interact with the old module (6.1%) is significantly higher than for the new module (5%): $$\chi^2 = 17.5, df = 1, p \ll 0.001$$ This difference showed up early on in the experiment, and we have examined the data more closely understand what is happening. One issue we identified early on was that not all interaction events were instrumented, which we subsequently resolved. Examining further, we find that many of those who get the old module click on links to the articles or the pageviews. In the new module, a graph of the pageviews is available, thus removing some of the need for visiting the pageview tool. As a result, we decided that no changes were needed.

 Mentor module interactions:  We find no significant difference in the proportion of newcomers who interact with the Mentor module. The proportion for newcomers who get the old module is 2.4%, for those who get the new module it's 2.2%. A Chi-square test finds this difference not significant: $$\chi^2 = 1.5, df = 1, p = 0.219$$

 Mentor module questions:  We do not see a substantial difference in the number of questions asked between the old module (269 edits) and the new module (281 edits). The proportion of newcomers who asks their mentor a question is also the same for both groups, at 1.5%.

 Edits and revert rate:  We do not see a substantial difference in the number of edits nor in the revert rate between the two groups measured on a per-user average basis. There are differences between the groups, but these are driven by some highly prolific editors, particularly on the mobile platform.

Levelling up
 Levelling up post-edit dialog interactions:  We find a higher proportion of newcomers interacting with the post-edit dialog in the Levelling Up group (90.8%) compared to the standard post-edit dialog (86.5%). This is largely driven by mobile where the Levelling Up interaction proportion (88%) is a lot higher than the other group (81.6%). The proportion is still higher for the Levelling Up group on desktop (93.6%) compared to the control (92.2%), but we regard it as "virtually identical" because the high proportion in the control group means there is little room for an increase.

 Try a suggested edit click through rates:  21.9% of newcomers who see the "Try a suggested edit" post-edit dialogue chooses to click through, which is significantly higher than the threshold set. The proportion is higher on desktop (24%) than on mobile (19.7), but in neither case is there a reason for concern.

 Increase your skill level click through rates:  We find that 73.1% of newcomers who see the "increase your skill level" dialog click through to see the new task, which is a lot higher than our expected threshold of less than 10%. Proportions are high on both desktop (71.1%) and mobile (77.3%).

 Get started click through rates:  3.8% of newcomers who get the "Get started" notification clicks through to the Homepage. Users who registered on desktop are more likely to click the notification (5.5%) than those on mobile (2.5%). Because the threshold of 5% is met, we are investigating further to understand this difference between desktop and mobile behaviour, particularly to understand if our 5% threshold is reasonable.

 Keep going click through rates:  We find that 9.6% of users who get the "Keep going" notification clicks through to the Homepage. Similarly as we do for the "Get started" notifications, we find a much higher proportion on desktop (16.2%) compared to mobile (4.7%). Our investigations into differences in notification behaviour by platform will hopefully give us more insight into this difference.

 Activation:  We find a decrease in constructive article activation (making a non-reverted article edit within 24 hours of registration) of 27% compared to 27.7%. As soon as we noticed this we opened T334411 to investigate the issue, with a focus on patterns in geography (countries and wikis) and technology (devices and browsers). We did not find clear patterns explaining the issue. The investigation of this decrease in activation will be investigated further: T337320.