Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan/hu

A kezdőlap célja, hogy a felhasználók - különösen az új regisztráltak - könnyen hozzáférhessenek olyan dolgokhoz, mint a segédanyagok, javaslatok az általuk végezhető munkára, valamint olyan információk, melyek a Wikipédia közösség élénk tevékenységét és az elvégzett munka hatását mutatják be. Az ilyen típusú információk segíthetnek csökkenteni az akadályokat az enciklopédiához való konstruktív hozzájárulás előtt, ezáltal növelve a szerkesztők aktivitását (azon új felhasználók aránya, akik szerkesztést végeznek). Ez potenciálisan növelheti a szerkesztők megtartását is (azon új felhasználók aránya, akik visszatérnek, hogy további szerkesztéseket végezzenek), ami a Növekedési csapat átfogó célja.

Ezen az oldalon dokumentáljuk a tervünket, hogy egy ellenőrzött kísérletet futtassunk a Kezdőlappal, és hogy milyen méréseket fogunk használni, hogy megtudjuk, hogyan lépnek kapcsolatba vele a felhasználók.

Kutatási kérdések
A kutatási kérdések azok a magasabb szintű kérdések, melyekre választ szeretnénk kapni. A "kezdőlap kezelés" alatt azt értjük, hogy a felhasználónak alapértelmezés szerint be van kapcsolva a kezdőlap, és megkapja a különböző kiegészítő funkciókat, amik a kezdőlapra irányítják, melyek lehetnek bannerek, vitalapi üzenetek vagy a kezdőlapon található linkek. A kezdeti verzióban az egyetlen kiegészítő funkció az lesz, hogy a személyes eszközökben a felhasználónév link a honlapra fog vezetni.


 * 1) Növeli-e a kezdőlap-kezelés elfogadása a szerkesztő aktiválását?
 * 2) Növeli-e a kezdőlap-kezelés a szerkesztők megtartását?
 * 3) Növeli-e a kezdőlap-kezeléshez való hozzáférés a szerkesztések átlagos számát a regisztrációt követő első két hétben?
 * 4) Növeli-e a kezdőlaphoz való hozzáférés a konstruktív szerkesztések arányát?
 * 5) * Ebben az összefüggésben a "konstruktív szerkesztések" olyan szerkesztéseket jelentenek, melyek nem kerülnek visszaállításra. Mivel a növekedési csapat az új felhasználók megtartására összpontosít, ezt mind összességében, mind pedig a felhasználói tapasztalatok szintjei szerint tervezzük mérni (pl. napokban kifejezett élettartam, szerkesztések száma vagy ezek kombinációja).
 * 6) Azok a felhasználók, akik hozzáféréssel rendelkeznek a kezdőlaphoz, felkeresik-e a kezdőlapot, és visszatérnek-e oda? Milyen mintákat látunk a kezdőlap látogatásában?
 * 7) Mely modulok kötik le az új belépőket, és milyen mértékben kötődnek hozzájuk? Azok a modulok, melyek cselekvésre szólítják fel a szerkesztőket, meg is teszik ezeket a lépéseket?
 * 8) Képesek vagyunk-e hatékonyan személyre szabni a kezdőlapot?
 * 9) * Első lépés: a felhasználók az üdvözlő felmérésre adott válaszaiknak megfelelően viselkednek-e? Például, azok a szerkesztők, akik azt mondják, hogy szeretnének kapcsolatba lépni, hogy segítséget kapjanak a szerkesztéshez, használják-e a mentor modult, hogy kapcsolatba lépjenek egy mentorral; és azok a felhasználók, akik azt mondják, hogy érdekli őket egy szócikk létrehozása, használják-e azokat a modulokat, amelyek segítségével többet tudhatnak meg arról, hogyan kell ezt megvalósítani?
 * 10) * Második lépés: ha már személyre tudjuk szabni a kezdőlapot, látunk-e nagyobb elkötelezettséget azoknál a felhasználóknál, akiknek a kezdőlapja személyre szabott?
 * 11) Ha a kezdőlap személyre szabható, milyen mértékben veszik igénybe a szerkesztők ezt a lehetőséget?
 * 12) Ha/amikor megtörténik az új belépők felmérése a kezdőlapról, mit tudunk meg minőségileg?  Egy ilyen kvalitatív vizsgálatot gyorsfelmérésekkel vagy egy olyan kezdőlapmodul segítségével lehetne elvégezni, ami egyszerűen a kezdőlap többi részével kapcsolatban kérdez rá.

Ellenőrzött kísérlet
Annak érdekében, hogy megértsük a kezdőlap hatását a szerkesztő aktiválására és megtartására, egy legalább hat hónapig tartó kísérletet javasolunk. Ez idő alatt a cél-wikik (jelenleg cseh, koreai, vietnámi és arab) új regisztrációinak 50%-ánál a kezdőlap alapértelmezés szerint be lesz kapcsolva, 50%-ánál pedig ki lesz kapcsolva. Valószínűleg ezzel egy időben más kísérleteket is fogunk végezni a cél-wikiken (pl. a Súgópanelünk változatai). Ha ezek a kísérletek rétegzett mintavételt igényelnek, akkor szükség szerint módosítani fogjuk a mintavételi stratégiánkat.

A kísérlet futása közben várhatóan a kezdőlap változatait is tesztelni fogjuk, hogy megértsük, hogyan befolyásolják a felhasználói viselkedést az egyes kezelőfelületi elemek. Nem fogjuk elfelejteni, hogy minél erősebb az a hipotézisünk, hogy egy módosított felület hatással lesz az aktiválásra vagy a megtartásra, annál inkább megzavarja az adott felületen végzett teszt az aktiválásra és a megtartásra vonatkozó hosszabb távú kísérletünket.

Mérések
Ezeket a méréseket a kutatási kérdéseink vezérlik, és a kezdőlapot elérő és a moduljaival interakcióba lépő felhasználók által végzett konkrét műveletekre összpontosítanak. Az alábbi lista a kezdőlapon az induláskor jelen lévő négy modulra vonatkozó méréseket tartalmazza: Start, Segítség, Hatás és Mentor. Amikor új modulokat fejlesztünk a kezdőlaphoz, azokhoz is hasonló mérési terveket fogunk kidolgozni.


 * 1) Általános
 * 2) A felhasználók hány százaléka lép a kezdőlapra?
 * 3) A felhasználók hány százaléka lép többször is a kezdőlapra?
 * 4) Ha a szerkesztők többször is felkeresik a kezdőlapot, ez milyen időintervallumban történik?
 * 5) Vannak-e különbségek a mobil és az asztali szerkesztők között?
 * 6) Milyen hamar látogat el egy felhasználó a regisztráció után először a kezdőlapra?
 * 7) Hogyan jutnak el a felhasználók a kezdőlapra?
 * 8) A felhasználói nevükre kattintva a felső navigációban?
 * 9) A szerkesztői lapról vagy a vitalapról a fülre kattintva?
 * 10) Más úton, például a wiki bannerén vagy egy e-mailben található linken keresztül?
 * 11) Ha a szerkesztő a felső navigációból vagy egy fülről a kezdőlapra mutató linkre kattintott, akkor meg akarjuk állapítani, hogy milyen kontextusban volt. Konkrétan azt szeretnénk tudni, hogy milyen névtérben volt, amikor rákattintott, és hogy olvasott vagy szerkesztett-e.
 * 12) Mennyi időt töltenek a felhasználók a kezdőlapmodulokkal való interakció során látogatásonként?
 * 13) Az első látogatás során?
 * 14) A későbbi látogatások során?
 * 15) A felhasználók hány százaléka követi a legalább egy modulból származó linkeket?
 * 16) Azok a szerkesztők, akik hozzáférnek a kezdőlaphoz, nagyobb vagy kisebb valószínűséggel hoznak létre szerkesztői lapot?
 * 17) A kezdőlaphoz hozzáférő szerkesztők nagyobb vagy kisebb valószínűséggel lépnek-e kapcsolatba más szerkesztőkkel a szerkesztői vitalapokon keresztül?
 * 18) A kezdőlaphoz hozzáféréssel rendelkező szerkesztők nagyobb vagy kisebb valószínűséggel lépnek kapcsolatba a közösséggel a szócikkek és projektek vitalapjain keresztül?
 * 19) Modulok
 * 20) Általános
 * 21) Az egyes modulokra milyen gyakran történik kattintás? Mekkora az egyes modulokra kattintó felhasználók aránya?
 * 22) Hány modullal lépnek interakcióba a szerkesztők (ahol az "interakció" bármilyen kattintást jelent)?
 * 23) A szerkesztők mely modulokkal lépnek többször interakcióba?
 * 24) Mely modulokkal lépnek kapcsolatba leginkább azok a szerkesztők, akik aktiválják és megtartják a programot (elismerve, hogy az ok-okozati összefüggés mindkét irányba mutathat)?
 * 25) Mennyi ideig tartózkodnak az asztali felhasználók az egyes modulok felett? (a mobilok esetében az analóg mérés a függőben lévő mobiltervezéstől függ).
 * 26) Úgy tűnik-e, hogy a modul elhelyezése az oldalon befolyásolja az interakciókat?
 * 27) Milyen hatással van a visszatartásra az egyes moduloknál a cselekvésre való felhívás elvégzése?
 * 28) Például: a mentorukkal kapcsolatba lépő szerkesztők hány százaléka marad meg?
 * 29) Konkrét modulok
 * 30) Súgómodul
 * 31) A szerkesztők hány százaléka kattint egy vagy több súgó linkre?
 * 32) Ha igen, melyik link(ek)re kattintanak?
 * 33) A szerkesztők hány százaléka használja a keresési funkciót?
 * 34) 1: A keresőmezőre összpontosít
 * 35) 2: Keresés elküldése, a keresés karaktereinek száma
 * 36) 3: A találatra kattintás, a találatok száma, a kattintott találat rangsorolása
 * 37) Meddig mennek el a szerkesztők a szerkesztési folyamatban, amikor kérdést tesznek fel a Súgószolgálaton?
 * 38) 1: Kattintás a kérdés feltevéséhez
 * 39) 2: Kérdés beírása
 * 40) 3: Elküldés
 * 41) 4: A megerősítő ablakon egy linkre kattintás
 * 42) Milyen hosszúak a feltett kérdések átlagosan?
 * 43) A kérdést feltöltő felhasználók hány százaléka tér vissza a válasz megtekintéséhez az alábbiak bármelyikével?
 * 44) Clicking the Echo notification saying they have been pinged in the response.
 * 45) Clicking on the link in the “Your recent questions” list.
 * 46) Responding to the answer on the Help Desk page.
 * 47) What percent of newcomers that had no email address add one when asking a question?
 * 48) What percent of newcomers confirm their email address (within 48 hours) after asking a question?
 * 49) What percent of newcomers ask a question without an email address?
 * 50) What percent of users who asked at least one question see one or more archived questions when they view the homepage?
 * 51) What percent of users who click on one of the links in the “Your recent questions” list clicked on a link to a question that was archived?
 * 52) Mentorship module
 * 53) What percent click on a link to learn more about the mentor?
 * 54) How far do users go in the workflow of asking their mentor a question?
 * 55) 1: Click to ask a question
 * 56) 2: Type a question
 * 57) 3: Submit
 * 58) 4: Click a link in the confirmation dialog
 * 59) What is the average length of questions asked?
 * 60) (Measured by hand) What percent of users who post a question receive an answer from their mentor?
 * 61) Do they get an answer from someone that is not their mentor?
 * 62) What percent of users who post a question appear to return to view the answer, by doing any of the following?
 * 63) Clicking the Echo notification saying they have been pinged in the response.
 * 64) Clicking on the link in the “Your recent questions” list.
 * 65) Responding to the answer on the talk page.
 * 66) (Measured by hand) What percent of newcomers who ask a question post a second time on their mentor’s talk page?
 * 67) How often does the first question become a conversation?
 * 68) How often is a second question asked?
 * 69) How often do conversations move beyond transactional wiki talk?
 * 70) What percent click on one of the links to view their question after they’ve asked it?
 * 71) What percent of newcomers that had no email address add one when asking a question?
 * 72) What percent of newcomers confirm their email address (within 48 hours) after asking a question?
 * 73) What percent of newcomers ask a question without an email address?
 * 74) Are newcomers more likely to ask questions to mentors who have a high edit count and short time since last edit compared to mentors with lower edit counts and/or longer time since last edit?
 * 75) What percent of users who asked at least one question see one or more archived questions when they view the homepage?
 * 76) What percent of users who click on one of the links in the “Your recent questions” list clicked on a link to a question that was archived?
 * 77) Impact module
 * 78) What percent click on a link when the module is in its “unactivated state” (when the user has no edits to articles)?
 * 79) What percent click to view an article?
 * 80) What percent click to view the pageviews analysis tool?
 * 81) What percent click to view all their contributions?
 * 82) How often do users return to open the pageviews analysis tool multiple times?
 * 83) Start module
 * 84) What percent of users that had no email address add an email address through this module?
 * 85) What percent of users confirm their email address through this module?
 * 86) What percent of users click the button for the tutorial?
 * 87) What percent of users click the button to start their user page, and what percent of them actually save a user page?
 * 88) What percent of users click the link to learn more about creating a user page?

Leading indicators and plans of action
The duration of the A/B test is at least six months because it is impossible to detect changes to new editor retention on mid-size wikis in less time than that (unless we drastically impact retention, but we see that as somewhat unlikely). While we wait for our results we want to be able to take action if we suspect that something is amiss. Below, we sketch out a set of scenarios based on the data described in the instrumentation strategy above. For each scenario, we propose a plan of action to take to remedy the situation.

Status of leading indicators
The newcomer homepage was deployed to the Czech and Korean Wikipedias on May 6, 2019. We monitored the leading indicators regularly during the first month of the experiment and did not find issues that required immediate attention. Instead, we find that the Homepage is seeing a lot of traffic and interactions, in particular we notice that a high proportion of users are returning to it multiple times.

Table 1 below shows the leading indicators from the Measurement experiment plan together with results from both Wikipedias. This analysis is based on data of users who registered between deployment on May 6, 2019 and the time of analysis on June 3, 2019. Users who either self-selected into or out of having the Homepage (turning the option on or off) are excluded, as is any known test account from Growth Team members.

There's one threshold that has been met, modules not being extensively used, and two areas of concern. Below we address these in more detail:


 * Not using a specific module: The only module that is not being used extensively is the Help module, which provides users with links to help content and a dialogue for posting questions to the Help Desk. We are not particularly concerned about this, partly because some users are interacting with it (mainly following the help links), and partly because it's not a problem if our users do not have a strong need to post questions to the Help Desk from the Homepage. Instead, we are seeing Homepage users posting questions to their mentors.
 * Not visiting the homepage: The threshold is not met on either wiki, but it can be labelled as "not far off" on Korean Wikipedia. Since we are in the process of developing features that help new users discover the Homepage, we do not see this as an issue as we expect that feature to reduce this proportion.
 * Not enough mentors: It does not appear that the volume of questions is difficult to deal with on either wiki. That being said, allowing new users to post questions to their mentors is a system where we are relying on individuals to respond, which can result in longer response times than what we might see on a wiki's Help Desk. At this point we do not find cause for concern, but it is an area that we will keep an eye on.