Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan/hu

A kezdőlap célja, hogy a felhasználók - különösen az új regisztráltak - könnyen hozzáférhessenek olyan dolgokhoz, mint a segédanyagok, javaslatok az általuk végezhető munkára, valamint olyan információk, melyek a Wikipédia közösség élénk tevékenységét és az elvégzett munka hatását mutatják be. Az ilyen típusú információk segíthetnek csökkenteni az akadályokat az enciklopédiához való konstruktív hozzájárulás előtt, ezáltal növelve a szerkesztők aktivitását (azon új felhasználók aránya, akik szerkesztést végeznek). Ez potenciálisan növelheti a szerkesztők megtartását is (azon új felhasználók aránya, akik visszatérnek, hogy további szerkesztéseket végezzenek), ami a Növekedési csapat átfogó célja.

Ezen az oldalon dokumentáljuk a tervünket, hogy egy ellenőrzött kísérletet futtassunk a Kezdőlappal, és hogy milyen méréseket fogunk használni, hogy megtudjuk, hogyan lépnek kapcsolatba vele a felhasználók.

Kutatási kérdések
A kutatási kérdések azok a magasabb szintű kérdések, melyekre választ szeretnénk kapni. A "kezdőlap kezelés" alatt azt értjük, hogy a felhasználónak alapértelmezés szerint be van kapcsolva a kezdőlap, és megkapja a különböző kiegészítő funkciókat, amik a kezdőlapra irányítják, melyek lehetnek bannerek, vitalapi üzenetek vagy a kezdőlapon található linkek. A kezdeti verzióban az egyetlen kiegészítő funkció az lesz, hogy a személyes eszközökben a felhasználónév link a honlapra fog vezetni.


 * 1) Növeli-e a kezdőlap-kezelés elfogadása a szerkesztő aktiválását?
 * 2) Növeli-e a kezdőlap-kezelés a szerkesztők megtartását?
 * 3) Növeli-e a kezdőlap-kezeléshez való hozzáférés a szerkesztések átlagos számát a regisztrációt követő első két hétben?
 * 4) Növeli-e a kezdőlaphoz való hozzáférés a konstruktív szerkesztések arányát?
 * 5) * Ebben az összefüggésben a "konstruktív szerkesztések" olyan szerkesztéseket jelentenek, melyek nem kerülnek visszaállításra. Mivel a növekedési csapat az új felhasználók megtartására összpontosít, ezt mind összességében, mind pedig a felhasználói tapasztalatok szintjei szerint tervezzük mérni (pl. napokban kifejezett élettartam, szerkesztések száma vagy ezek kombinációja).
 * 6) Azok a felhasználók, akik hozzáféréssel rendelkeznek a kezdőlaphoz, felkeresik-e a kezdőlapot, és visszatérnek-e oda? Milyen mintákat látunk a kezdőlap látogatásában?
 * 7) Mely modulok kötik le az új belépőket, és milyen mértékben kötődnek hozzájuk? Azok a modulok, melyek cselekvésre szólítják fel a szerkesztőket, meg is teszik ezeket a lépéseket?
 * 8) Képesek vagyunk-e hatékonyan személyre szabni a kezdőlapot?
 * 9) * Első lépés: a felhasználók az üdvözlő felmérésre adott válaszaiknak megfelelően viselkednek-e? Például, azok a szerkesztők, akik azt mondják, hogy szeretnének kapcsolatba lépni, hogy segítséget kapjanak a szerkesztéshez, használják-e a mentor modult, hogy kapcsolatba lépjenek egy mentorral; és azok a felhasználók, akik azt mondják, hogy érdekli őket egy szócikk létrehozása, használják-e azokat a modulokat, amelyek segítségével többet tudhatnak meg arról, hogyan kell ezt megvalósítani?
 * 10) * Második lépés: ha már személyre tudjuk szabni a kezdőlapot, látunk-e nagyobb elkötelezettséget azoknál a felhasználóknál, akiknek a kezdőlapja személyre szabott?
 * 11) Ha a kezdőlap személyre szabható, milyen mértékben veszik igénybe a szerkesztők ezt a lehetőséget?
 * 12) Ha/amikor megtörténik az új belépők felmérése a kezdőlapról, mit tudunk meg minőségileg?  Egy ilyen kvalitatív vizsgálatot gyorsfelmérésekkel vagy egy olyan kezdőlapmodul segítségével lehetne elvégezni, ami egyszerűen a kezdőlap többi részével kapcsolatban kérdez rá.

Ellenőrzött kísérlet
Annak érdekében, hogy megértsük a kezdőlap hatását a szerkesztő aktiválására és megtartására, egy legalább hat hónapig tartó kísérletet javasolunk. Ez idő alatt a cél-wikik (jelenleg cseh, koreai, vietnámi és arab) új regisztrációinak 50%-ánál a kezdőlap alapértelmezés szerint be lesz kapcsolva, 50%-ánál pedig ki lesz kapcsolva. Valószínűleg ezzel egy időben más kísérleteket is fogunk végezni a cél-wikiken (pl. a Súgópanelünk változatai). Ha ezek a kísérletek rétegzett mintavételt igényelnek, akkor szükség szerint módosítani fogjuk a mintavételi stratégiánkat.

A kísérlet futása közben várhatóan a kezdőlap változatait is tesztelni fogjuk, hogy megértsük, hogyan befolyásolják a felhasználói viselkedést az egyes kezelőfelületi elemek. Nem fogjuk elfelejteni, hogy minél erősebb az a hipotézisünk, hogy egy módosított felület hatással lesz az aktiválásra vagy a megtartásra, annál inkább megzavarja az adott felületen végzett teszt az aktiválásra és a megtartásra vonatkozó hosszabb távú kísérletünket.

Mérések
Ezeket a méréseket a kutatási kérdéseink vezérlik, és a kezdőlapot elérő és a moduljaival interakcióba lépő felhasználók által végzett konkrét műveletekre összpontosítanak. Az alábbi lista a kezdőlapon az induláskor jelen lévő négy modulra vonatkozó méréseket tartalmazza: Start, Segítség, Hatás és Mentor. Amikor új modulokat fejlesztünk a kezdőlaphoz, azokhoz is hasonló mérési terveket fogunk kidolgozni.


 * 1) Általános
 * 2) A felhasználók hány százaléka lép a kezdőlapra?
 * 3) A felhasználók hány százaléka lép többször is a kezdőlapra?
 * 4) Ha a szerkesztők többször is felkeresik a kezdőlapot, ez milyen időintervallumban történik?
 * 5) Vannak-e különbségek a mobil és az asztali szerkesztők között?
 * 6) Milyen hamar látogat el egy felhasználó a regisztráció után először a kezdőlapra?
 * 7) Hogyan jutnak el a felhasználók a kezdőlapra?
 * 8) A felhasználói nevükre kattintva a felső navigációban?
 * 9) A szerkesztői lapról vagy a vitalapról a fülre kattintva?
 * 10) Más úton, például a wiki bannerén vagy egy e-mailben található linken keresztül?
 * 11) Ha a szerkesztő a felső navigációból vagy egy fülről a kezdőlapra mutató linkre kattintott, akkor meg akarjuk állapítani, hogy milyen kontextusban volt. Konkrétan azt szeretnénk tudni, hogy milyen névtérben volt, amikor rákattintott, és hogy olvasott vagy szerkesztett-e.
 * 12) Mennyi időt töltenek a felhasználók a kezdőlapmodulokkal való interakció során látogatásonként?
 * 13) Az első látogatás során?
 * 14) A későbbi látogatások során?
 * 15) A felhasználók hány százaléka követi a legalább egy modulból származó linkeket?
 * 16) Azok a szerkesztők, akik hozzáférnek a kezdőlaphoz, nagyobb vagy kisebb valószínűséggel hoznak létre szerkesztői lapot?
 * 17) A kezdőlaphoz hozzáférő szerkesztők nagyobb vagy kisebb valószínűséggel lépnek-e kapcsolatba más szerkesztőkkel a szerkesztői vitalapokon keresztül?
 * 18) A kezdőlaphoz hozzáféréssel rendelkező szerkesztők nagyobb vagy kisebb valószínűséggel lépnek kapcsolatba a közösséggel a szócikkek és projektek vitalapjain keresztül?
 * 19) Modulok
 * 20) Általános
 * 21) Az egyes modulokra milyen gyakran történik kattintás? Mekkora az egyes modulokra kattintó felhasználók aránya?
 * 22) Hány modullal lépnek interakcióba a szerkesztők (ahol az "interakció" bármilyen kattintást jelent)?
 * 23) A szerkesztők mely modulokkal lépnek többször interakcióba?
 * 24) Mely modulokkal lépnek kapcsolatba leginkább azok a szerkesztők, akik aktiválják és megtartják a programot (elismerve, hogy az ok-okozati összefüggés mindkét irányba mutathat)?
 * 25) Mennyi ideig tartózkodnak az asztali felhasználók az egyes modulok felett? (a mobilok esetében az analóg mérés a függőben lévő mobiltervezéstől függ).
 * 26) Úgy tűnik-e, hogy a modul elhelyezése az oldalon befolyásolja az interakciókat?
 * 27) Milyen hatással van a visszatartásra az egyes moduloknál a cselekvésre való felhívás elvégzése?
 * 28) Például: a mentorukkal kapcsolatba lépő szerkesztők hány százaléka marad meg?
 * 29) Konkrét modulok
 * 30) Súgómodul
 * 31) A szerkesztők hány százaléka kattint egy vagy több súgó linkre?
 * 32) Ha igen, melyik link(ek)re kattintanak?
 * 33) A szerkesztők hány százaléka használja a keresési funkciót?
 * 34) 1: A keresőmezőre összpontosít
 * 35) 2: Keresés elküldése, a keresés karaktereinek száma
 * 36) 3: A találatra kattintás, a találatok száma, a kattintott találat rangsorolása
 * 37) Meddig mennek el a szerkesztők a szerkesztési folyamatban, amikor kérdést tesznek fel a Súgószolgálaton?
 * 38) 1: Kattintás a kérdés feltevéséhez
 * 39) 2: Kérdés beírása
 * 40) 3: Elküldés
 * 41) 4: A megerősítő ablakon egy linkre kattintás
 * 42) Milyen hosszúak a feltett kérdések átlagosan?
 * 43) A kérdést feltöltő felhasználók hány százaléka tér vissza a válasz megtekintéséhez az alábbiak bármelyikével?
 * 44) Az Echo értesítésre kattintva, miszerint pingelték őket a válaszban.
 * 45) A "Legutóbbi kérdéseid" listában található linkre kattintva.
 * 46) A válaszra való válaszadás a Súgószolgálat oldalán.
 * 47) Az új belépők hány százaléka, akiknek nem volt e-mail címük, adnak hozzá egyet, amikor kérdést tesznek fel?
 * 48) Az új belépők hány százaléka erősíti meg e-mail címét (48 órán belül), miután kérdést tett fel?
 * 49) Az új belépők hány százaléka tesz fel kérdést e-mail cím nélkül?
 * 50) A legalább egy kérdést feltett felhasználók hány százaléka lát egy vagy több archivált kérdést a kezdőlapon?
 * 51) Azoknak a felhasználóknak hány százaléka, akik az "legutóbbi kérdéseid" listában található linkek egyikére kattintanak, egy archivált kérdésre mutató linkre kattintottak?
 * 52) Mentorálási modul
 * 53) Hány százalékuk kattint egy linkre, hogy többet tudjon meg a mentorról?
 * 54) Milyen messzire mennek el a felhasználók a szerkesztésben, amikor kérdést tesznek fel a mentoruknak?
 * 55) 1: Kattintás a kérdés feltevéséhez
 * 56) 2: Kérdés beírása
 * 57) 3: Elküldés
 * 58) 4: A megerősítő ablakon egy linkre kattintás
 * 59) Milyen hosszúak a feltett kérdések átlagosan?
 * 60) (Kézzel mérve) A kérdést feltett szerkesztők hány százaléka kap választ a mentortól?
 * 61) Kapnak-e választ olyasvalakitől, aki nem a mentoruk?
 * 62) A kérdést feltöltő felhasználók hány százaléka tér vissza a válasz megtekintéséhez az alábbiak bármelyikével?
 * 63) Az Echo értesítésre kattintva, miszerint pingelték őket a válaszban.
 * 64) A "Legutóbbi kérdéseid" listában található linkre kattintva.
 * 65) A válaszra való válaszadás a vitalapon.
 * 66) (Kézzel mérve) A kérdést feltevő új belépők hány százaléka ír másodszor is a mentor vitalapjára?
 * 67) Milyen gyakran válik az első kérdésből beszélgetés?
 * 68) Milyen gyakran tesznek fel második kérdést?
 * 69) Milyen gyakran lépnek túl a beszélgetések a tranzakciós wikibeszélgetésen?
 * 70) Hány százalékuk kattint rá valamelyik linkre, hogy megnézze a kérdését, miután feltette azt?
 * 71) Az új belépők hány százaléka, akiknek nem volt e-mail címük, adnak hozzá egyet, amikor kérdést tesznek fel?
 * 72) Az új belépők hány százaléka erősíti meg e-mail címét (48 órán belül), miután kérdést tett fel?
 * 73) Az új belépők hány százaléka tesz fel kérdést e-mail cím nélkül?
 * 74) Az új belépők nagyobb valószínűséggel tesznek fel kérdéseket olyan mentoroknak, akiknek magas a szerkesztésszámuk és rövid idő telt el az utolsó szerkesztés óta, mint az alacsonyabb szerkesztésszámú és/vagy az utolsó szerkesztés óta eltelt hosszabb idővel rendelkező mentoroknak?
 * 75) A legalább egy kérdést feltett felhasználók hány százaléka lát egy vagy több archivált kérdést a kezdőlapon?
 * 76) Azoknak a felhasználóknak hány százaléka, akik az "legutóbbi kérdéseid" listában található linkek egyikére kattintanak, egy archivált kérdésre mutató linkre kattintottak?
 * 77) Hatás modul
 * 78) Hány százalékuk kattint egy linkre, amikor a modul "nem aktivált állapotban" van (amikor a felhasználó nem szerkeszt szócikkeket)?
 * 79) Hány százalék kattint egy szócikk megtekintésére?
 * 80) Hány százalék kattint az oldalmegtekintés-elemző eszköz megtekintésére?
 * 81) Hány százalék kattint az összes hozzászólás megtekintésére?
 * 82) Milyen gyakran térnek vissza a szerkesztők, hogy többször is megnyissák az oldalmegtekintés-elemző eszközt?
 * 83) Modul indítása
 * 84) Azoknak a felhasználóknak hány százaléka, akiknek nem volt e-mail címe, ad hozzá e-mail címet ezen a modulon keresztül?
 * 85) A felhasználók hány százaléka erősíti meg e-mail címét ezen a modulon keresztül?
 * 86) A felhasználók hány százaléka kattint a bemutató gombra?
 * 87) A felhasználók hány százaléka kattint a szerkesztői lap indítására szolgáló gombra, és hány százalékuk ment el ténylegesen szerkesztői lapot?
 * 88) A felhasználók hány százaléka kattint a linkre, hogy többet tudjon meg a szerkesztői lap létrehozásáról?

Iránymutatók és intézkedési tervek
Az A/B teszt időtartama hat hónap, mert ennél rövidebb idő alatt lehetetlen kimutatni az új szerkesztők megtartásának változását a közepes méretű wikiknél (kivéve, ha drasztikusan befolyásoljuk a megtartást, de ezt elég valószínűtlennek tartjuk). Amíg az eredményekre várunk, szeretnénk tudni lépéseket tenni, ha gyanítjuk, hogy valami nincs rendben. Az alábbiakban felvázolunk egy sor forgatókönyvet a fenti mérési stratégiában leírt adatok alapján. Minden egyes forgatókönyvhöz javaslatot teszünk egy intézkedési tervre a helyzet orvoslására.

A vezető mutatók állapota
Az új belépő kezdőlapot 2019. május 6-án telepítettük a cseh és a koreai Wikipédiára. A kísérlet első hónapjában rendszeresen figyeltük a vezető mutatókat, és nem találtunk olyan problémákat, melyek azonnali figyelmet igényeltek volna. Ehelyett azt tapasztaltuk, hogy a kezdőlap nagy forgalmat és interakciókat bonyolít, különösen azt vettük észre, hogy a szerkesztők nagy aránya többször is visszatér rá.

Az alábbi 1. táblázat a mérési kísérleti terv vezető mutatóit mutatja be a két Wikipédia eredményeivel együtt. Az elemzés azon felhasználók adatain alapul, akik a 2019. május 6-i telepítés és az elemzés 2019. június 3-i időpontja között regisztráltak. Azokat a szerkesztőket, akik vagy saját maguk választották ki, hogy a kezdőlapjuk legyen, vagy nem (be- vagy kikapcsolták az opciót), kizártuk, ahogyan a Növekedési csapat tagjainak minden ismert tesztfiókját is.

Van egy küszöbérték, ami teljesült, a modulokat nem használják széles körben, és két terület, ami aggodalomra ad okot. Az alábbiakban ezekkel foglalkozunk részletesebben:


 * Egy adott modul használatának mellőzése: Az egyetlen modul, amit nem használnak széles körben, az a Súgó modul, mely a felhasználók számára linkeket biztosít a súgó tartalmakhoz, és egy párbeszédet a Súgószolgálathoz intézett kérdések feladásához. Nem aggódunk különösebben emiatt, részben azért, mert néhány felhasználó interakcióba lép vele (főleg a súgó linkeket követve), részben pedig azért, mert nem jelent problémát, ha a szerkesztőinknek nincs nagy szükségük arra, hogy a kezdőlapról kérdéseket tegyenek fel a Súgószolgálatnak. Ehelyett azt látjuk, hogy a kezdőlap felhasználói a mentoraiknak küldözgetnek kérdéseket.
 * Nincs látogatva a kezdőlap: A küszöbérték egyik wikin sem teljesül, de a koreai Wikipédián "nem messze" címkével jelölhető. Mivel folyamatban van olyan funkciók kifejlesztése, melyek segítenek az új felhasználóknak felfedezni a kezdőlapot, ezt nem tekintjük problémának, mivel arra számítunk, hogy ez a funkció csökkenteni fogja ezt az arányt.
 * Nincs elég mentor: Nem úgy tűnik, hogy a kérdések mennyiségét nehéz lenne kezelni egyik wikin sem. Ennek ellenére az, hogy az új felhasználóknak lehetővé tesszük, hogy kérdéseket tegyenek fel a mentoruknak, olyan rendszer, ahol az egyénekre támaszkodunk a válaszadásban, ami hosszabb válaszidőt eredményezhet, mint amit egy wiki Súgószolgálatán tapasztalhatunk. Jelenleg nem találunk okot aggodalomra, de ez egy olyan terület, amit szemmel fogunk tartani.