Growth/Personalizovaný první den/Uvítací dotazník
|
Welcome survey
 Gather information from new editors to help them achieve their goals
|
Tato stránka popisuje práci týmu Growth na projektu "uvítacího dotazníku", což je podprojekt většího projektu "Personalizovaného prvního dne". Stránka obsahuje nejdůležitější informace a rozhodnutí, které se tohoto projektu týkají. Více na obecné stránce s aktualitami obsahující nejdůležitějšími informace.
Dne 20. listopadu 2018 byl uvítací dotazník uveden na české a korejské Wikipedii. Zpráva analyzující výsledky byla zpracována a publikována v průběhu prosince 2018.
V březnu 2019 jsme se rozhodli, že zpracování uvedené jako "varianta A" je to nejlepší. Proto se nyní zobrazuje všem českým a korejským nováčkům.
V současné době zkoumáme, jaké řešení dotazníku je nejlepší pro vietnamskou verzi.
Současný stav
- 2018-11-20: Uvítací dotazník je uveden na českou a korejskou Wikipedii, polovina uživatelů dostává variantu A a polovina je v kontrolní skupině.
- 2018-12-22: Je publikovány výsledky uvítacího dotazníku.
- 2019-01-16: Po zjistění, že varianta A nesnižuje počet aktivních nováčků, jsme změnili nastavení české a korejské Wikipedie tak, že jedna polovina nováčků dostává variantu A a druhá variantu C.
- 2019-01-24: Uvítací dotazník byl uveden na vietnamské Wikipedii, polovina nováčků dostává variantu A a polovina variantu C.
- 2019-02-27: Změna nastavení vietnamské Wikipedie, polovina nováčků dostává variantu A a polovina nedostává žádný dotazník. Tímto způsobem si chceme ověřit pochybnosti týkající se množství nováčků, kteří proces vytváření účtu přeruší.
- 2019-03-06: Po analýze experimentu na české a korejské Wikipedii jsme nováčkům zobrazili variantu A, která byla lepší ve všech směrech. Neběží žádné experimenty ani na české, ani na korejské Wikipedii.
- 2019-03-21: Byl vypnut dotazník na vietnamské Wikipedii, protože jsme zjistili, že registraci přeruší mnohem více uživatelů s dotazníkem než bez dotazníku. Tyto výsledky stále prověřujeme.
- 2019-07-12: Odstranění možnosti uživatelů přidávat do průzkumu odpovědi ve volném textu. Požadavek vyplynul z došlých odpovědí, které se staly potenciálním zdrojem pro zneužití.
- 2019-07-15: Uvítací dotazník byl uveden na arabské Wikipedii, přičemž polovina uživatelů dostává variantu A a polovina dotazník nedostává.
- 2019-08-30: Jsme zveřejnili zprávu, která ukazuje, že uvítací dotazník nemá negativní vliv ani na uživatele arabské Wikipedie.
- 2022-01-30: začíná měsíční test průzkumu na vietnamské Wikipedii. [1]
- Další: Úprava otázek v uvítacím dotazníku směřujících k získání informací potřebných pro úspěšnou realizaci projektu Úkoly nováčka.
Shrnutí
Z výzkumu Zkušenosti nových wikipedistů víme, že nováčci na wiki přicházejí s určitým cílem. Pokud ho nejsou schopni dosáhnout, je nepravděpodobné, že se opět vrátí. Pomocí uvítacího dotazníku nováčků chceme zjistit jejich cíle, abychom jim mohli pomoci k jejich dosažení. Chceme se zeptat nováčků na další otázky v průběhu procesu pro vytvoření účtu, například důvod, proč si vytváří účet, o co se snaží, o co se zajímají a zda by rádi spolupracovali se zkušeným rádcem (mentorem).
Pro více informací o motivaci pro tento projekt sledujte "stránky projektu Personalizovaný první den".
Pokud se chcete dozvědět, jak budou data z dotazníku využita pro personalizaci prvních dnů nováčka, navštivte stránku "E-maily pro zvýšení angažovanosti nováčků" (Engagement emails) a stránku projektu "Domovská stránka nováčka" (Newcomer homepage).
Srovnávací recenze
Aby se návrhář našeho týmu dozvěděl, jak nejlépe navrhnout uvítací průzkum, zkontroloval způsob, jakým jiné platformy (např. Reddit, Coursera, Medium) klademe nováčkům úvodní otázky. Zatímco zkušenosti, které chceme poskytnout nováčkům, jsou rozhodně odlišné od jiných platforem (chceme nováčkům poskytnout volitelné, lehké, neinvazivní zkušenosti), také uznáváme, že existují osvědčené postupy, které se můžeme naučit od jiného softwaru. Srovnání jsou uvedena v tomto slide decku a hlavní poznatky jsou:
- Modály byly obecně více používané nebo jinak překryvná vrstva na celé stránce pro formuláře.
- Během vstupního dotazování nebyly položeny více než 4 otázky.
- Otázky byly buď postupně zveřejňovány na jediné obrazovce, nebo se jinak zobrazovaly 1 otázka na krok s jasnou vizuální indikací počtu kroků (např. pomocí krokovacího uživatelského rozhraní).
- Formuláře s více otázkami byly obvykle zcela přeskočitelné, ale s povinnými otázkami, pokud se uživatel chtěl zúčastnit.
- Volitelná prohlídka s průvodcem nebo další pomoc byla často poskytnuta poté, co byl uživatel v aplikaci.
- Přátelský hlas a tón – vstřícný, neformální jazyk zarámovaný jako žádost o informace, které pomohou uživateli zorientovat se ("Řekněte nám o sobě", "Získejte doporučení" atd.)
Vývoj
Naše vyvíjející se návrhy lze vždy nalézt v těchto klikacích maketách a s dalšími kontextovými informacemi v tomto úkolu Phabricatoru. Naším cílem návrhu je, aby nováčci odpověděli na všechny otázky, které chtějí, a nesnižovali počet uživatelů, kteří dokončí proces registrace a vrátí se k tomu, co dělali.
Zvažovali jsme tři hlavní přístupy k návrhu tohoto projektu. The new account holder lands at each approach immediately after clicking "Create your account" at Special:CreateAccount. A po dokončení každého z nich se vrátí na stránku, ze které původně klikli, aby si vytvořili svůj účet. Vezměte prosím na vědomí, že znění otázek a text v těchto maketách neodráží aktuální koncepty – makety jsou spíše pro vizuály a pracovní postupy. Znění a text otázky budou zveřejněny samostatně.
- Varianta A: Speciální stránka obsahující průzkum. Toto bylo nejjednodušší implementovat a poprvé jsme ji nasadili 20. listopadu 2018. Ačkoli to není v souladu s osvědčenými postupy, které jsme se naučili ve srovnávacím přehledu, je to nejrychlejší způsob, jak vytvořit průzkum a začít se učit. Bude také fungovat automaticky na mobilním webu a pro uživatele bez JavaScriptu.
- Varianta B: Tato možnost zobrazuje uživatelům jednu otázku po druhé a také odstraňuje okolní odkazy z levé a horní navigace wiki pro efektivnější zážitek. Toto je inspirováno rozhraním nástroje Překlad. Rozhodli jsme se, že se této variaci vůbec nebudeme věnovat, protože je to více práce než Varianta C, která se nám líbí víc.
- Varianta C: Toto je náš ideální vývoj, který je modálním vzhledem k kontextu, odkud uživatel přišel. Pomáhá objasnit, že uživatel je blízko k návratu k úkolu, který dělal, když začínal vytvářet účet. Také uvádí otázky jednu po druhé, takže průzkum není ohromující. To zahrnuje naše poznatky ze srovnávacího přehledu. Budeme muset navrhnout a zkonstruovat samostatnou mobilní webovou verzi a také zvážit, co uživatelé bez JavaScriptu obdrží. Toto se připravovalo během listopadu a prosince 2018.
Tým vytvořil a nasadil Variantu A v listopadu 2018 a současně postavil Variantu C. Variantu C nasadíme během ledna 2019.
-
Maketa "Varianty A"
-
Maketa "Varianty B"
-
Maketa "Varianty C"
Otázky, odpovědi a další text
Původní sada otázek
Otázky, které tato funkce klade nováčkům, spolu s jejich konkrétním zněním a dalším textem ve funkci, jsou opravdu důležité pro získání užitečných dat. Tým na těchto věcech pracoval s pomocí několika dalších lidí, kteří mají zkušenosti s průzkumy ve WMF. Všechny otázky budou volitelné a budou přeloženy do jazyků wikin, na kterých je uvítací průzkum umístěn. Níže jsou uvedeny otázky, které chceme položit, a na jejichž znění stále pracujeme. Chcete-li zobrazit aktuální text funkce, podívejte se na aktuální makety.
- Proč jste si dnes vytvořili účet?
- Cíl: Pokud pochopíme, čeho se nováček snaží dosáhnout, můžeme mu ukázat pomocné materiály, které mu pomohou toho dosáhnout.
- Možnosti odpovědi:
- Oprava překlepu nebo chyby v článku na Wikipedii'
- Přidat informace do článku na Wikipedii
- Vytvořit nový článek na Wikipedii
- Číst Wikipedii
- Jiné (popište, prosím)
- Editovali jste někdy Wikipedii?
- Cíl: Chceme vědět, kolik lidí vytvářejících účty již provedlo IP úpravy. To by nám také umožnilo zdržet se poskytování příliš mnoha pomocných materiálů lidem, kteří již vědí, co dělají.
- Možnosti odpovědi:
- Ano, mnohokrát
- Ano, jednou nebo dvakrát
- Ne, nevěděl jsem, že umím upravovat Wikipedii
- Ne, z jiných důvodů
- Nepamatuji si
- Lidé mohou upravovat články na Wikipedii o tématech, která je zajímají. Níže uvádíme několik témat, která jsou oblíbená pro úpravy. Vyberte některá témata, která budete chtít upravit.
- Cíl: V budoucnu může být možné propojit nováčky se zkušenými redaktory, kteří sdílejí jejich zájmy, nebo jim jen dát doporučení na články, na kterých by mohli pracovat.
- Možnosti odpovědí (vysvětlení, jak byly stanoveny, naleznete v této aktualizaci):
- Vloženo jako zaškrtávací políčka: Umění, Věda, Geografie, Historie, Hudba, Sport, Literatura, Náboženství, Populární kultura.
- Dostupné v rozbalovacím menu: Zábava, Jídlo a pití, Biografie, Vojenství, Ekonomie, Technologie, Film, Filozofie, Podnikání, Politika, Vláda, Strojírenství, Řemesla a koníčky, Hry, Zdraví, Společenské vědy, Doprava, Vzdělání.
- Uživatelé budou také moci přidávat svá vlastní témata.
- E-mailová adresa
- Cíl: Pouze pokud ji uživatel nedodal na Special:CreateAccount. E-mail je důležitý pro zapojení nových redaktorů a umožnění obnovení jejich účtů, proto se chceme zeptat dvakrát.
- Uvažujeme o spuštění programu pro zkušenější editory, který pomůže novějším uživatelům s úpravami. Máte zájem být kontaktováni pro pomoc s úpravou?
- Cíl: Chceme zjistit, zda nově příchozí cítí, že potřebují pomoc člověka od člověka.
Kromě samotných otázek uživatelům ukážeme odkaz na prohlášení o ochraně osobních údajů v průzkumu (přeloženo do jazyka wiki) a na Výukový program a Podporu stránky na jejich wikinách.
Aktualizace pro Úkoly pro nováčky v září 2019
Původním účelem uvítacího průzkumu je využít odpovědi průzkumu k přizpůsobení zážitku nováčků, aby první den dostali to, co potřebují. The first feature that we will be personalizing is the newcomer tasks feature. Otázky a odpovědi uvítacího průzkumu se změní, aby vyhovovaly potřebám této funkce. Konkrétně se jedná o plánované změny:
- Změníme odpovědi v první otázce ("Proč jste si dnes vytvořili účet?") tak, aby zahrnovaly možnosti odpovědí, které jsou běžné v poli "Jiné" s libovolným textem:
- "Přidat fotografii nebo obrázek do článku na Wikipedii": To je jedna z nejčastějších věcí, o které se nováčci snaží.
- "Účastním se programu, třídy nebo události": Mnoho nováčků prochází programy a může chtít možnost poskytovat personalizovaný obsah na základě programu, ze kterého přicházejí.
- Dvě z dalších odpovědí v první otázce sbalíme do jedné, která zní "Provést změny v existujícím článku Wikipedie". Následující dvě odpovědi sbalujeme do jedné odpovědi, abychom vytvořili prostor pro nové výše uvedené odpovědi:
- "Oprava překlepu nebo chyby v článku na Wikipedii"
- "Přidat informace do článku Wikipedie"
- Z průzkumu zcela odstraníme otázku týkající se témat, která uživatele zajímají. This is because we'll be asking that question in the newcomer tasks feature on the homepage instead.
- Přidáme otázku požadující na uživateli, aby uvedl jazyky, ve kterých čtou nebo píší. Tato otázka nám může pomoci povzbudit některé nováčky, aby používali nástroj Content Translation.
Testy použitelnosti
Během týdne od 22. října 2018 jsme použili web usertesting.com k provedení šesti testů našich modelů Varianty A s uživateli internetu, kteří nejsou spojeni s hnutím Wikimedie. V těchto testech jsou respondenti odměňováni za to, že si makety vyzkoušeli, nahlas hovořili o tom, co pozorovali, a odpovídali na otázky týkající se zážitku. Jak popsal návrhář našeho týmu v úkolu Phabricator, cíle tohoto testování byly:
- Identifikovat vylepšení Porozumění průzkumu (aktualizujte kopii v závislosti na tom, jak uživatelé rozumí pokynům a otázkám ve formuláři).
- Identifikovat vylepšení Použitelnost průzkumu (zkontrolujte, zda jsou uživatelé schopni správně zadat a odeslat zamýšlené odpovědi).
- Vědí uživatelé, jak funguje vizuální design a rozvržení? (Např. chápou, že by měli vybrat jednu odpověď ze skupiny přepínačů)
- Mohou uživatelé procházet formulářem?
- Chybí nějaká zpětná vazba, která by uživatelům pomohla vyplnit formulář?
- Změřte Reakce na průzkum a Očekávání, jak budou informace použity.
Shrnutí zjištění
- Průzkum byl jasně nepovinný a byl považován za krátký, nenáročný a nerušivý k dokončení
- Obecně považováno za sběr dat pro výzkum (ačkoli si několik testerů myslelo, že konkrétnější vysvětlení toho, jak lze odpovědi použít, by je mohlo více přimět k vyplnění)
- "Program mentorství" byl jedním z aspektů, který nebyl jasně pochopen, přičemž asi polovina účastníků se mylně domnívala, že pomoc spíše poskytnou, než že ji obdrží.
- Několik uživatelů mělo ohledně poskytování e-mailu pochybnosti a obávalo se, že by mohl být zneužit k marketingu nebo předán třetím stranám (také protože očekávali, že bude povinný pro vytvoření účtu, pokud bude potřeba pro obnovení)
- Uživatelům se líbila zpráva po odeslání s dalšími informacemi o "Začínáme s úpravami"
- Několik uživatelů předpokládalo, že po dokončení uvítacího průzkumu budou přesměrováni na svůj "hlavní panel", kde mohou začít s úpravami.
Doporučení
- Po dokončení průzkumu přidejte celou zprávu s poděkováním
- Přeformulujte otázku zaškrtávacího políčka "Mentor" a objasněte očekávání, jak mohou být uživatelé kontaktováni, pokud zaškrtnou políčko mentor
- Upravte formulaci Q3 (Wordsmithing tak, aby druhá věta "Níže jsme uvedli několik oblíbených úprav" byla snáze srozumitelná.)
- Přidejte nápovědu vedle nebo pomocný text do pole "Přidat další témata" pro uživatele no-js s vysvětlením, že mohou více témat oddělovat čárkou
- Přidejte další informace o tom, jak se e-mail používá
- Potenciálně zpřehledněte umístěním popisku s následující zprávou (převzato z Help:Account_management): "Pokud se rozhodnete poskytnout e-mailovou adresu, ostatní uživatelé vás budou moci kontaktovat e-mailem. Tato funkce je anonymní – uživatel, který vám pošle e-mail, nebude znát vaši e-mailovou adresu. Pokud nechcete, nemusíte uvádět svou e-mailovou adresu (je však nutné, abyste obnovili své heslo, pokud jej zapomenete)“
Analýza a experimenty
S ohledem na tuto funkci provedeme dva druhy analýzy. Chcete-li si o těchto plánech přečíst do hloubky, podívejte se na Growth/Analytics updates/Personalized first day experiment plan obsahující "plán experimentu".
Analýza odpovědí na průzkum
Hlavním cílem průzkumu je shromáždit informace o tom, čeho se noví redaktoři snaží dosáhnout, abychom mohli zjistit, zda je možné přizpůsobit jejich zkušenosti na základě jejich odpovědí. Provádíme přímou analýzu odpovědí, rozdělenou podle prvků, jako je platforma (mobilní vs. desktop) a kontext, ze kterého byl účet vytvořen (domovská stránka, čtení, úpravy).
První zprávu o odpovědích na průzkum lze nalézt zde: Growth/Aktualizace Analytics/Úvodní zpráva uvítacího průzkumu. Členové komunity by měli mít možnost tuto zprávu přeložit do svých jazyků. Podrobný přehled bude vytvořen do března 2019. Některé výsledky v horní linii:
- Průzkum má vysokou míru odpovědí: 67 % v češtině a 62 % v korejštině.
- Mnoho lidí si vytváří účty jen proto, aby četli články – potenciální příležitost k zapojení nových redaktorů.
- Vysoký počet lidí naznačuje, že mají zájem být kontaktováni s žádostí o pomoc: 36 % v češtině a 53 % v korejštině.
Analýza dopadu průzkumu na aktivaci
Ačkoli bychom to nezamýšleli, je možné, že uvítací průzkum by mohl snížit počet nově příchozích, kteří provádějí úpravy. Členové komunity nejprve uvedli tuto obavu a řekli, že prodloužením procesu registrace a odkloněním nováčků od jejich cílů bychom je mohli přimět web opustit. Proto jsme provedli A/B test, abychom zjistili, zda předložení průzkumu snižuje míru aktivace (míru, jakou noví uživatelé provádějí první úpravy).
Od 19. listopadu do 15. ledna polovina nováčků na české a korejské Wikipedii dostala variantu A průzkumu a polovina nedostala žádný průzkum. Výsledky našich experimentů jsou zveřejněny zde: Growth/Analytics updates/Welcome survey editor activation rate a ukazují, že průzkum výrazně nesnížil rychlost, s jakou nováčci provádějí své první úpravy. Na základě této analýzy jsme také testovali Variaci A proti Variaci C, abychom zjistili, zda Varianta C zvýšila míru odezvy (viz další část). In August 2019, we ran this same test on Arabic Wikipedia, and again found Growth/Analytics updates/Welcome survey editor activation rate#Addendum: Arabic Wikipedia that the welcome survey had no negative impact on new users.
Analýza dvou variant průzkumu
Poté, co jsme viděli, že Varianta A nezpůsobila pokles míry aktivace v českých a korejských Wikipediích, přešli jsme na srovnání Varianty A a Varianty C na těchto wikinách. V průběhu měsíce února 2019 obdržela každou variantu polovina nováčků. Po porovnání variant míry aktivace, míry opuštění a míry odezvy jsme viděli, že varianta A má lepší nebo stejný výkon jako varianta C ve všech jazycích a na všech platformách. Experimenty v české a korejské Wikipedii jsme proto ukončili a od 6. března 2019 jsme začali používat variantu A se všemi nováčky. Hloubkové výsledky jsou k dispozici.
Odpovědi 2022
| Proč jste se rozhodli se na Wikipedii zaregistrovat? | Počet odpovědí | Procento z celkového počtu |
|---|---|---|
| Abych do Wikipedie přidal(a) další článek | 304 502 | 27.53% |
| Abych přidal(a) nebo změnil(a) informaci na Wikipedii | 249 574 | 22.57% |
| Abych si mohl(a) Wikipedii číst | 215 339 | 19.47% |
| Abych opravil(a) chybu v článku na Wikipedii | 132 626 | 11.99% |
| Jiné | 103 037 | 9.32% |
| Wikipedii edituji ve škole, na kurzu či workshopu | 51 128 | 4.62% |
| Abych přidal(a) obrázek k článku na Wikipedii | 34 145 | 3.09% |
| N/A | 15 540 | 1.41% |
| Celkem | 1 105 891 |