Növekedés/Analitikai frissítések/Súgópanel kísérleti terve
A súgópanel célja, hogy a szerkesztők könnyebben kapjanak segítséget anélkül, hogy el kellene hagyniuk a szerkesztési környezetet. Ez lehetővé teheti számukra, hogy elvégezzék a feladataikat, miközben a Wikipédia közösségével is találkozhatnak a közösség súgószolgálatán feltett kérdéseken és válaszokon keresztül. A szerkesztők segítése a feladatok elvégzésében növelheti az aktiválását (a szerkesztést végző új felhasználók aránya), és potenciálisan a szerkesztők megtartását is (a szerkesztéshez másodszor is visszatérő új felhasználók aránya), ez utóbbi a növekedési csoport átfogó célja.
Annak érdekében, hogy megértsük a segédpanel hatását a szerkesztő aktiválására és megtartására, egy hat hónapos A/B tesztet javasolunk. A teszt során a célzott wikik új regisztrációinak 50%-ánál alapértelmezés szerint engedélyezzük a súgópanelt, 50%-ánál pedig letiltjuk azt. Valószínűleg ezzel egy időben más kísérleteket is fogunk végezni a cél-wikiken, például az üdvözlő felmérésünk változatainak tesztelésével. Ha ezek a kísérletek rétegzett mintavételt igényelnek, gondoskodunk arról, hogy mintavételi stratégiánkat ennek megfelelően módosítsuk.
A segédpanel segítségével vizsgálni kívánt kérdésekkel kapcsolatos további információkért lásd a projektoldal ezen szakaszát. További információért arról, hogy pontosan milyen adatokat fogunk rögzíteni, lásd az EventLogging sémát.
Változatok
Ezen hat hónap alatt a segítségpanel változatainak tesztelését is tervezzük, hogy megértsük, hogyan befolyásolják a segítségkérés munkafolyamatán belüli viselkedést az egyes kezelőfelületi elemek. Nem feledkezünk meg arról, hogy minél erősebb az a hipotézisünk, hogy egy módosított interfész hatással lesz az aktiválásra vagy a megtartásra, annál inkább megzavarja az adott interfészen végzett teszt az aktiválásra és a megtartásra vonatkozó hosszabb távú kísérletünket.
Meg kell határoznunk, hogy melyik változatot teszteljük először, mivel egyszerre csak egyet fogunk tesztelni. Egyik változatot sem fogjuk lefuttatni addig, amíg a nagyobb kísérletet körülbelül egy hónapig nem futtatjuk le a kisebbek beágyazott változatai nélkül. Ez azért szükséges, hogy egyértelműen megtudhassuk, hogy maga a súgópanel hatással van-e az új felhasználók aktiválási arányára.
Iránymutatók és intézkedési tervek
Az A/B teszt időtartama hat hónap, mert ennél rövidebb idő alatt lehetetlen kimutatni az új szerkesztők megtartásának változását a közepes méretű wikiknél (kivéve, ha drasztikusan befolyásoljuk a megtartást, de ezt elég valószínűtlennek tartjuk). Amíg az eredményekre várunk, szeretnénk tudni lépéseket tenni, ha gyanítjuk, hogy valami nincs rendben. Az alábbiakban felvázolunk egy sor forgatókönyvet a fenti mérési stratégiában leírt adatok alapján. Minden egyes forgatókönyvhöz javaslatot teszünk egy intézkedési tervre a helyzet orvoslására.
| Indikátor | Akciótervek |
|---|---|
| Nem nyitja meg a súgópanelt | Ha a célcsoport azon felhasználóinak >75%-a, akik látják a súgópanelt (azaz megnyitják a szerkesztőt), szintén nem nyitja meg a panelt, akkor prioritásként kezeljük a panel megnövelt affordanciájú változatának tesztelését.
|
| A panel használatának mellőzése | Ha a panelt megnyitó felhasználók >50%-a be is zárja a panelt anélkül, hogy interakcióba lépne vele, megfontoljuk egy olyan vezetett túra kifejlesztését, mely a panel megnyitását követően bemutatja a panelt.
|
| A panel kikapcsolása | Ha a felhasználók >10%-a kikapcsolja a panelt, akkor kereszthivatkozásokat készítünk az üdvözlő felmérés adataival, hogy kiderítsük, hogy ezek olyan szerkesztők-e, akik arról számoltak be, hogy korábban szerkesztettek, vagy kihagyták a felmérést. Ha nem, akkor újraértékeljük a tervezést. |
| Nincs kattintás a súgó linkekre | Ha valamelyik linkre a kattintások <10%-a történik (a különböző súgó linkek közül), konzultálunk a közösségi nagykövetekkel arról, hogy a linket törölni kell-e, vagy mással kell-e helyettesíteni. |
| A kérdések feltevésének mellőzése | Ha a súgópanelt megnyitó szerkesztők >25%-a (anélkül, hogy bármelyik súgó linket használná) szintén nem kezdi el a kérdésfeltevés útját, akkor megfontoljuk egy vezetett túra kidolgozását a kérdésfeltevés útjának bemutatására.
|
| Alacsony minőségű kérdések | Ha a kérdések >50%-a 30 karakter (vagy ennek megfelelő nyelvi karakter) alatti, akkor elgondolkodunk azon, hogy a tervezés ösztönözheti-e a részletesebb kérdéseket. |
| Megválaszolatlan kérdések | Ha a súgó panelen keresztül feltett kérdések >10%-a megválaszolatlan marad, megkeressük a nagyköveteket, hogy megtudjuk, miért, és fontolóra vesszük egy olyan rendszer bevezetését, mely a szerkesztőket válaszadásra szólítja fel. Vagy megvizsgáljuk, hogy a súgószolgálat nem túlterhelt-e.
Ha egy kérdésre a válaszadás átlagos ideje meghaladja a 24 órát, megkeressük nagyköveteinket, hogy megtudjuk, miért. |
| A szerkesztők nem térnek vissza, hogy elolvassák a választ | Ha a szerkesztők <35%-a visszatér, hogy elolvassa a kérdéseire adott válaszokat, akkor az e-mail címek rögzítésének és a felhasználók értesítésének jobb rendszereiről beszélünk. |
| Nincs kísérlet arra, hogy a válasz beérkezése után újra szerkessze a szöveget | Ha a segédpanellel interakcióba lépő, kérdést feltevő és választ kapó szerkesztők >25%-a visszatér az oldalra, de nem próbál meg újra szerkeszteni, akkor megvizsgáljuk e felhasználók véletlenszerű mintáját, és kiderítjük, mi volt a kérdésük, hogy megértsük, ésszerűtlen volt-e elvárni tőlük, hogy másodszor is visszatérjenek és szerkesszenek. |
A vezető mutatók állapota egy hónap elteltével
A súgópanelt 2019. január 11-én telepítettük a cseh és a koreai Wikipédiára. Egy hónappal később összegyűjtöttük mindkét wiki összes addigi regisztrációjának adatait, hogy ki tudjuk értékelni a vezető mutatóinkat, és meg tudjuk állapítani, hogy a funkció bármelyik viselkedése aggályos volt-e. Röviden, bár az értékelés feltár néhány javításra szoruló területet, úgy gondoljuk, hogy a súgópanel eddigi viselkedése egészséges, és nincs negatív hatással a wikikre.
Az ismert tesztfiókokat eltávolítottuk, csakúgy, mint azokat a felhasználókat, akik a preferenciáikban be- vagy kikapcsolták a súgópanelt, mivel a kezelési csoportba vagy a csoportból való önkiválasztás sérti a véletlenszerű csoportbeosztásból eredő egyenlő elvárásokat. Azonban, mint alább látni fogjuk, nagyon kevés szerkesztő változtatta meg a beállításait.
| Indikátor | Küszöbérték | Cseh Wikipédia | Koreai Wikipédia |
|---|---|---|---|
| Nincs megnyitva a súgópanel | A célcsoport azon felhasználóinak >75%-a, akik látják a súgópanelt (azaz megnyitják a szerkesztőt), nem nyitják meg a panelt. | 84,7% | 77,4% |
| A panel használatának mellőzése | A panelt megnyitó felhasználók >50%-a be is zárja a panelt anélkül, hogy interakcióba lépne vele. | 36,8% | 39,4% |
| A panel kikapcsolása | A felhasználók >10%-a kikapcsolja a panelt. | 0,5% | 0,3% |
| Nincs kattintás a súgó linkekre | Az egyik linkre a kattintások <10%-a kattint (a különböző súgó linkek közül). | 3 links | None |
| A kérdések feltevésének mellőzése | A súgópanelt megnyitó szerkesztők >25%-a (anélkül, hogy a súgó linkeket használná) nem kezdi el a kérdésfeltevést. | 69,2% | 93,7% |
| A kérdésfeltevéseket elkezdő szerkesztők >15%-a nem fejezi be azt. | 21,7% | 37,5% | |
| Alacsony minőségű kérdések | A kérdések >50%-a 30 karakter (vagy ennek megfelelő nyelvi karakter) alatti. | 30,0% | 16,7% |
| A szerkesztők nem térnek vissza, hogy elolvassák a választ | A felhasználók <35%-a visszatér, hogy elolvassa a kérdéseire adott válaszokat. | 36,8% | 50,0% |
A fenti táblázatban négy olyan küszöbérték van, mely aggasztó lehet, és az alábbi lista elmagyarázza, hogyan gondolkodunk ezekről.
- A súgópanel meg nem nyitása: mindkét wiki esetében a szám valamivel, de nem riasztóan magasabb a küszöbértéknél. Ez azt az érzést kelti bennünk, hogy egészséges megnyitási arányaink vannak, melyeken van még mit javítani. Ennek szellemében elkezdtük több helyen megjeleníteni a súgópanelt, hogy a szerkesztőknek több lehetőségük legyen megnyitni azt. A súgópanel mostantól olvasási módban jelenik meg a Segítség, a Wikipédia és a Szerkesztői névtérben. Ez a munka a T215664 számú feladatban nyomon követhető és 2019. március 6-ig befejeződött.
- Nem kattintás a súgó linkekre: Mivel az elemzés azt mutatta, hogy a három cseh linknek alacsony a látogatottsága, eltávolítottuk a jegyezhetőségről szóló további információkhoz vezető linket, és egy kép hozzáadásáról szóló linkkel helyettesítettük, mivel ez utóbbi volt a leggyakrabban a Súgószolgálathoz küldött kérdés és a leggyakrabban kattintott link Koreában. Az útmutatóra mutató linket is átcímkéztük "Gyors útmutató" feliratúvá, mivel a koreai Wikipédiában is ezt használják, ahol ez a második leggyakrabban kattintott link. Ez a munka a T217391 számú feladatban nyomon követhető és 2019. március 6-ig befejeződött.
- Kérdések feltevésének mellőzése: Utólag visszatekintve, valószínűleg túl ambiciózus volt az az elvárásunk, hogy a súgópanelt megnyitó (és a linkekre nem kattintó) szerkesztők 75%-a kérdést fog feltenni. Elégedettnek érezzük magunkat a csehországi kérdésfeltevések arányával, és azt tapasztaljuk, hogy talán a nyilvános kérdésfeltevés paradigmája nem igazán illik a koreai Wikipédiához, tekintettel a kérdések alacsony arányára. Ez az egyik oka annak, hogy a súgópanel kiegészült a "kereséssel", hogy a szerkesztőknek különböző módjai legyenek a segítség megtalálására, melyek megfelelhetnek a saját preferenciáiknak a keresés módját illetően. Ez a munka a T209301 számú feladatban nyomon követhető és 2019. februűr 25-ig befejeződött.
- A kérdéses útvonal elindítása és be nem fejezése: az abszolút számok ennél a mérőszámnál még mindig elég alacsonyak ahhoz, hogy nehéz lenne biztonsággal megmondani, hogy a küszöbértéknél jelentősen magasabbak vagyunk-e. Az elemzések idején csak körülbelül 25 ember próbált meg kérdést feltenni. Ezért ezt a mutatót egy későbbi szakaszban újra megvizsgáljuk.