Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan/cs

Cílem Domovské stránky je poskytnout zejména novým uživatelům snadný přístup k nápovědě, řešeními pro věci, na kterých pracují a ty nejdůležitější informace, které k tvorbě Wikipedie potřebují. Zároveň také Domovská stránka má předat dopad práce, kterou na Wikipedii odvedli. Tyto typy informací mohou snížit bariéru vytváření konstruktivních příspěvků do encyklopedie, což zvýší aktivaci editorů (množství nováčků, kteří udělají editaci). Také to může zvýšit retenci editorů (množství nováčků, kteří editují více než jeden den), což je celkový cíl týmu Growth. This type of information can help lower the barrier to making constructive contributions to the encyclopedia, thereby increasing editor activation (the proportion of new users who go on to make edits). It can also potentially increase editor retention (the proportion of new users who return to make additional edits), which is the overarching goal of the Growth Team.

Tato stránka dokumentuje náš plán experimentu, a jaké výsledky budeme používat k zjištění, kolik uživatelů s ní pracuje.

Výzkumné otázky
The research questions are the higher level questions we want answered. By “homepage treatment” we mean that a user both has the homepage on by default and is receiving the various ancillary features that drive them to the homepage, which may include banners, talk page messages, or links on Main Page. In the initial version, the only ancillary feature will be the fact that the username link in personal tools will go to the homepage.


 * 1) Pomáhá Domovská stránka zvýšit aktivaci editora?
 * 2) Pomáhá Domovská stránka zvýšit retenci editora?
 * 3) Pomáhá přístup k Domovské stránce zvýšit množství editací v prvních dvou týdnech po registraci?
 * 4) Zvyšuje Domovská stránka množství konstruktivních editací?
 * 5) * V tomto kontextu „konstruktivní úpravy“ znamenají úpravy, které nejsou vráceny. Vzhledem k tomu, že Growth Team se zaměřuje na udržení nových uživatelů, plánujeme to měřit jak celkově, tak podle úrovně zkušeností uživatelů (např. Držba ve dnech, počet úprav nebo jejich kombinace).
 * 6) Vrací se uživatelé s Domovskou stránku zpátky na Domovskou stránku? Jaký vzor vidíme v používání Domovské stránce?
 * 7) Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?
 * 8) Umíme Domovskou stránku personalizovat?
 * 9) * First step: do users behave in correspondence with their responses to the Welcome Survey? For example, do users who say they are interested in being contacted to get help with edits use the mentor module to reach out to a mentor; and do users who say they are interested in creating an article use the modules that help them learn more about how to do that?
 * 10) * Second step: once we can personalize the homepage, do we see increased engagement for users whose homepages are personalized?
 * 11) When the homepage is customizable, to what extent to do users avail themselves of that capability?
 * 12) If/when the effort exists to survey newcomers about the homepage, what can we learn qualitatively?  Such a qualitative study could be done through Quick Surveys, or through a homepage module that simply asks about the rest of the homepage.

Kontrolovaný experiment
In order to understand the Homepage’s impact on editor activation and retention, we propose an experiment that will be running for at least six months. During that time, 50% of new registrations on target wikis (currently Czech, Korean, Vietnamese, and Arabic) will have the homepage enabled by default, and 50% will have it disabled. We will most likely be running other experiments on the target wikis at the same time (e.g. variants of our Help Panel). If those experiments require stratified sampling, we will make sure to adjust our sampling strategies as necessary.

While the experiment is running, we expect to also be testing variants of the Homepage to understand how specific interface elements affect user behavior. We will remember that the stronger our hypothesis that an altered interface will affect activation or retention, the more a test on that interface confounds our longer term experiment on activation and retention.

Měření
These measurements are driven by our research questions and focus on specific actions taken by users who have the ability to access the homepage and interact with its modules. The list below contains measurements for the four modules present on the Homepage at time of launch: Start, Help, Impact, and Mentor. When we develop new modules for the Homepage, we will also develop similar measurement plans for those.


 * 1) General
 * 2) What percent of users access the homepage?
 * 3) What percent of those users access the homepage multiple times?
 * 4) When users access the homepage multiple times, over what timeline does that happen?
 * 5) Are there differences between mobile and desktop users?
 * 6) How soon after creating their account does a user first visit the homepage?
 * 7) How do users get to the homepage?
 * 8) By clicking on their username in the top navigation?
 * 9) By clicking on the tab from their User or User talk page?
 * 10) Via another driver, such as a banner on wiki or link in an email?
 * 11) If the user clicked on a link to the Homepage from the top navigation or a tab, we want to capture the context they were in. Specifically, we want to know what namespace they were in when they clicked it, and whether they were reading or editing.
 * 12) How much time do users spend interacting with homepage modules per visit?
 * 13) During their first visit?
 * 14) During subsequent visits?
 * 15) What percent of users follow links from at least one module?
 * 16) Are users who have access to the homepage more or less likely to create a user page?
 * 17) Are users who have access to the homepage more or less likely to interact with other users through user talk pages?
 * 18) Are users who have access to the homepage more or less likely to interact with the community through article and project talk pages?
 * 19) Modules
 * 20) General
 * 21) How often is each module clicked on? What is the proportion of users who click on each one?
 * 22) How many modules do users tend to interact with (where “interact” means any click)?
 * 23) Which modules tend to be interacted with repeatedly?
 * 24) Which modules are interacted with most by those users who are activated and retained (acknowledging that the causality may be going in either direction)?
 * 25) Jak dlouho se uživatelé stolních počítačů zabývají každým modulem? (Analogové měření pro mobilní zařízení závisí na dosud nevyřešeném návrhu mobilního zařízení)
 * 26) Zdá se, že umístění modulu na stránce ovlivňuje interakce?
 * 27) Jaký je dopad na retenci při provádění výzvy k akci u každého modulu?
 * 28) Například: jaké procento uživatelů, kteří kontaktují svého mentora, je zachováno?
 * 29) Specifické moduly
 * 30) Modul nápovědy
 * 31) Jaké procento uživatelů klikne na jeden nebo více odkazů na nápovědu?
 * 32) Pokud ano, na které odkazy kliknou?
 * 33) Jaké procento uživatelů používá funkci vyhledávání?
 * 34) 1: Zaostřete na vyhledávací pole
 * 35) 2: Zadejte hledání, počet hledaných znaků
 * 36) 3: Klikněte na výsledek, počet výsledků, hodnocení kliknutí
 * 37) Jak daleko se uživatelé dostanou do pracovního postupu kladení otázek na helpdesku?
 * 38) 1: Klepnutím položte otázku
 * 39) 2: Zadejte otázku
 * 40) 3: Odešlete
 * 41) 4: Klikněte na odkaz v potvrzovacím dialogu
 * 42) Jaká je průměrná délka položených otázek?
 * 43) Jaké procento uživatelů, kteří vložili otázku, se zdá, že se vrátí, aby si prohlédli odpověď, provedením některého z následujících kroků?
 * 44) Kliknutím na oznámení Echo řeknete, že byli v odpovědi pingováni.
 * 45) Klikněte na odkaz v seznamu „Poslední dotazy“.
 * 46) Odpověď na otázku na stránce Help Desk.
 * 47) Která procenta nováčků, kteří neměli žádnou e-mailovou adresu, přidají jednu při položení otázky?
 * 48) Jaké procento nově příchozích potvrzuje svou e-mailovou adresu (do 48 hodin) po položení otázky?
 * 49) Jaké procento nováčků klade otázku bez e-mailové adresy?
 * 50) Jaké procento uživatelů, kteří položili alespoň jednu otázku, vidí při prohlížení domovské stránky jednu nebo více archivovaných otázek?
 * 51) Jaké procento uživatelů, kteří kliknou na jeden z odkazů v seznamu „Vaše nedávné otázky“, kliklo na odkaz na archivovanou otázku?
 * 52) Modul mentorství
 * 53) Jaké procento klikne na odkaz a dozví se více o mentorovi?
 * 54) Jak daleko se uživatelé dostanou do pracovního postupu a ptají se svého mentora?
 * 55) 1: Klepnutím položte otázku
 * 56) 2: Zadejte otázku
 * 57) 3: Odešlete
 * 58) 4: Klikněte na odkaz v potvrzovacím dialogu
 * 59) Jaká je průměrná délka položených otázek?
 * 60) (Měřeno ručně) Jaké procento uživatelů, kteří položili otázku, obdrží odpověď od svého mentora?
 * 61) Dostanou odpověď od někoho, kdo není jejich mentorem?
 * 62) Jaké procento uživatelů, kteří vložili otázku, se zdá, že se vrátí, aby si prohlédli odpověď, provedením některého z následujících kroků?
 * 63) Kliknutím na oznámení Echo řeknete, že byli v odpovědi pingováni.
 * 64) Klikněte na odkaz v seznamu „Poslední dotazy“.
 * 65) Odpověď na otázku na stránce Help Desk.
 * 66) (Měřeno ručně) Jaké procento nově příchozích, kteří položí otázku, se podruhé objeví na diskusní stránce svého mentora?
 * 67) Jak často se první otázka stává konverzací?
 * 68) Jak často je položena druhá otázka?
 * 69) Jak často se konverzace pohybují mimo transakční wiki diskuse?
 * 70) Jaké procento klikne na jeden z odkazů a zobrazí se jejich otázka poté, co se na to zeptají?
 * 71) Která procenta nováčků, kteří neměli žádnou e-mailovou adresu, přidají jednu při položení otázky?
 * 72) Jaké procento nově příchozích potvrzuje svou e-mailovou adresu (do 48 hodin) po položení otázky?
 * 73) Jaké procento nováčků klade otázku bez e-mailové adresy?
 * 74) Je pravděpodobnější, že nováčci budou klást otázky mentorům, kteří mají vysoký počet úprav a krátký čas od poslední úpravy, ve srovnání s mentory s nižším počtem úprav a / nebo delší dobu od poslední úpravy?
 * 75) Jaké procento uživatelů, kteří položili alespoň jednu otázku, vidí při prohlížení domovské stránky jednu nebo více archivovaných otázek?
 * 76) Jaké procento uživatelů, kteří kliknou na jeden z odkazů v seznamu „Vaše nedávné otázky“, kliklo na odkaz na archivovanou otázku?
 * 77) Impact modul
 * 78) Jaké procento klikne na odkaz, když je modul ve „neaktivovaném stavu“ (když uživatel nemá žádné úpravy článků)?
 * 79) Jaké procento kliknutí zobrazí článek?
 * 80) What percent click to view the pageviews analysis tool?
 * 81) What percent click to view all their contributions?
 * 82) How often do users return to open the pageviews analysis tool multiple times?
 * 83) Start module
 * 84) What percent of users that had no email address add an email address through this module?
 * 85) What percent of users confirm their email address through this module?
 * 86) What percent of users click the button for the tutorial?
 * 87) What percent of users click the button to start their user page, and what percent of them actually save a user page?
 * 88) What percent of users click the link to learn more about creating a user page?

Leading indicators and plans of action
The duration of the A/B test is at least six months because it is impossible to detect changes to new editor retention on mid-size wikis in less time than that (unless we drastically impact retention, but we see that as somewhat unlikely). While we wait for our results we want to be able to take action if we suspect that something is amiss. Below, we sketch out a set of scenarios based on the data described in the instrumentation strategy above. For each scenario, we propose a plan of action to take to remedy the situation.

Status of leading indicators
The newcomer homepage was deployed to the Czech and Korean Wikipedias on May 6, 2019. We monitored the leading indicators regularly during the first month of the experiment and did not find issues that required immediate attention. Instead, we find that the Homepage is seeing a lot of traffic and interactions, in particular we notice that a high proportion of users are returning to it multiple times.

Table 1 below shows the leading indicators from the Measurement experiment plan together with results from both Wikipedias. This analysis is based on data of users who registered between deployment on May 6, 2019 and the time of analysis on June 3, 2019. Users who either self-selected into or out of having the Homepage (turning the option on or off) are excluded, as is any known test account from Growth Team members.

There's one threshold that has been met, modules not being extensively used, and two areas of concern. Below we address these in more detail:


 * Not using a specific module: The only module that is not being used extensively is the Help module, which provides users with links to help content and a dialogue for posting questions to the Help Desk. We are not particularly concerned about this, partly because some users are interacting with it (mainly following the help links), and partly because it's not a problem if our users do not have a strong need to post questions to the Help Desk from the Homepage. Instead, we are seeing Homepage users posting questions to their mentors.
 * Not visiting the homepage: The threshold is not met on either wiki, but it can be labelled as "not far off" on Korean Wikipedia. Since we are in the process of developing features that help new users discover the Homepage, we do not see this as an issue as we expect that feature to reduce this proportion.
 * Not enough mentors: It does not appear that the volume of questions is difficult to deal with on either wiki. That being said, allowing new users to post questions to their mentors is a system where we are relying on individuals to respond, which can result in longer response times than what we might see on a wiki's Help Desk. At this point we do not find cause for concern, but it is an area that we will keep an eye on.