Growth/Analytics updates/Welcome survey initial report/cs

Jako součást projektu týmu Growth Personalizovaný první den jsme 19. listopadu 2018 něco málo po dvacáté hodině nasadili uvítací dotazník na českou a korejskou Wikipedii. Účelem tohoto dotazníku je získání nějakých informací o nováčcích, abychom jim mohli personalizoat jejich zážitek na wiki a mohli jim usnadnit dosáhnout jejich cílů. Před zobrazením jsme publikovali |plán experimentu, ve kterém jsme detailně popsali, co budeme měřit a proč. Tato stránka je prvotním reportem výsledků dotazníku. Publikujeme i více detailní analýzu, která zodpovídá na mnohé otázky z plánu experimentu.

V této zprávě vám přinášíme rychlý přehled odpovědí na dotazník založený na účtech vytvořených mezi nasazením a 17. prosincem 2018. Nepočítali jsme ani interval spolehlivosti, ani statistickou významnost těchto dat, a netvrdíme nic o významných odlišnostech (kupř. mezi dvěmi Wikipediemi nebo mezi skupinami uživatelů). Také jsme ještě neposuzovali otázky ve vzájemné souvislosti, nebo v souvislosti s daty z cesty editora. Namísto toho prezentujeme tuto zprávu jako předběžné poznatky, a diskutujeme různé možné kroky, které tyto poznatky mohou napovídat, a v následujícím čtvrtletí uděláme podrobnější analýzu.

Nejdůležitější poznatky

 * Většina nováčků na dotazník odpovídá, návratnost dotazníku je 67 % a 62 % na české, respektive korejské Wikipedii.
 * Nedomníváme se, že dotazník zapříčiňuje odchod některých nováčků.
 * Nejčastějším důvodem, proč si korejští nováčci zakládají účet, je čtení článků - ne editování (29 %). V české Wikipedii tuto odpověď zvolilo 18 % lidí. Tento vysoký počet může znamenat příležitost sdělit těmto lidem, že je možné a snadné Wikipedii editovat.
 * Většina respondentů v obou jazycích nikdy Wikipedii needitovala (51 % českých a 63 % korejských). Tato čísla ale také znamenají, že velká část nováčků již v minulosti editovala (ať už anonymně nebo s jiným účtem), a mají tedy určité znalosti o tom, jak Wikipedie funguje.
 * Korejští respondenti vyplňovali vlastní témata namísto používání jen těch předvyplněných častěji, než čeští. 28 % korejských respondentů přidalo vlastní témata, a jen 9 % českých.
 * Překvapivě velký počet lidí uvítá, když jsou kontaktováni s nabídkou pomoci - 36 % českých a 53 % korejských. Tohle je silné potvrzení toho, že existuje prostor pro lidskou nápovědu.
 * Několik lidí z těch, co nepřidalo svou e-mailovou adresu v registračním procesu, přidalo svou e-mailovou adresu uvnitř uvítacího dotazníku. Tato čísla jsou dostatečně velká, aby prokázala svůj potenciál (6 % korejských a 7 % českých), ale dostatečně malá, abychom zvažovali lepší způsob, jak nováčky přesvědčit ke sdělení své e-mailové adresy.
 * We are not currently concerned that the survey is causing new users to leave the site.
 * The most common reason for creating an account in Korean Wikipedia is to read articles—not for editing (29%). This is different than in Czech, where 18% give that response. The high numbers here may represent an opportunity to educate those users that it is possible and easy to edit Wikipedia.
 * The majority of respondents in both languages have not edited Wikipedia before (51% in Czech and 63% in Korean). But these percentages also mean that a large number of people have edited before (either anonymously or with a different account), and therefore may have some knowledge of how to edit.
 * Korean respondents were much more likely than Czech respondents to type in their own custom topics, as opposed to selecting only the pre-populated options. 28% of Korean respondents added their own topic, compared to 9% of Czech respondents.
 * Surprisingly large numbers of respondents said they are interested in being contacted to get help with editing: 36% in Czech and 53% in Korean. This is a strong affirmation that the potential and desire for human-to-human help exists. The respondents are an actionable list of users for outreach.
 * Few additional people add an email address who did not add one during account creation. The numbers are large enough that the option is productive (6% in Korean and 7% in Czech), but small enough that we could consider better appeals to encourage adding an email address.

Pozadí
Původní motivací pro tento dotazník bylo sesbírat data o uživatelích, abychom jim mohli personalizovat jejich zážitek. O našich myšlenkách, jak tyto data využít, si můžete přečíst více zde.

Během čtyř týdnů po nasazení byl dotazník zobrazen náhodně vybrané půlce nově vytvořených účtů (to znamená, že dotazník nebyl zobrazen uživatelům, kteří již účet měli jinde, tzv. "automaticky vytvořené účty"). Toto A/B testování mezi dotazníkovou a kontrolní skupinou bylo implementováno, abychom mohli zjistit, zda dotazník vede k nižšímu počtu nováčků, kteří udělají svou první editaci do 24 hodin od vytvoření účtu (což nazýváme "aktivací nováčka"). Analýza výsledků tohoto experimentu bude teprve vytvořena.

Jak dotazník vypadá si můžete nejrychleji zobrazit v našem grafickém návrhu. Dotazník je zobrazen v češtině, resp. v korejštině.

Počet odpovědí
Na české Wikipedii jsme dotazník ukázali 669 uživatelům, a na korejské 836. V okamžiku, kdy uživatel uvidí dotazník, dostane několik otázek ke zodpovězení. Všechny otázky jsou nepovinné. Poté mohou odeslat dotazník kliknutím na tlačítko "Dokončit" (i když neodpověděli na žádnou otázku), zahodit své odpovědi kliknutím na tlačítko "Přeskočit dotazník" nebo udělat něco jiného, co způsobí odejití ze stránky s dotazníkem (např. kliknutí na odkaz v levém navigačním menu nebo zavření záložky v prohlížeči). To nazýváme "zrušením dotazníku". Rozložení těchto akcí pro posuzované wiki je následující:

Tabulka 1 ukazuje, že většina uživatelů dotazník vyplní, což je skvělé! Jak uvidíme níže, uživatelé také na naše otázky odpovídají (namísto toho, aby odeslali dotazník bez odpovědí). Procento uživatelů nedokončující dotazník vypadá, že je vcelku vysoké. Nejprve jsme si mysleli, že to znamená, že dotazník způsobuje, že nováčci Wikipedii zcela opouští, což by bylo kontraproduktivní. Abychom tuto obavu vyřešili, podívali jsme se na data, která náš tým nasbíral v rámci projektu Porozumění prvnímu dnu, který zaznamenává stránky navštívené nováčci v průběhu jejich prvních 24 hodin na Wikipedii. Zjistili jsme, že jen malé procento uživatelů zcela opouští Wikipedii - v češtině jde o pouhých 47 uživatelů (7,0 %), a v korejštině o 99 uživatelů (11,8 %). Obě dvě čísla jsou nižší než práh, který jsme nastavili pro možné změny dotazníku nebo dokonce jeho vyputí. Tato otázka bude odpovězena přesněji, jakmile zanalyzujeme data pro kontrolní skupinu. The abandonment rate appears to be fairly high, and at first we were concerned this meant that the survey was causing users to leave the website entirely, which would be a counter-productive outcome. To look into this, we dug into the data captured via our team's "Understanding first day" project, which gathers data on what new users view during their first 24 hours. We found that in Czech, only 47 users (7.0%) left the site, while in Korean it was only 99 users (11.8%). Both of these proportions are below the thresholds we had set for whether to change the survey or turning it off. This question will be answered more conclusively when we analyze the control group's rate of abandoning the site after account creation.

Je také možné rozdělit data podle toho, zda byl účet vytvořen na počítači nebo z mobilu, ale zjistili jsme, že v obou dvou případech jsou procenta prakticky stejná

Proč jste si dnes vytvořili účet?
Proč jste si dnes vytvořili účet?


 * Abych opravil(a) chybu v článku na Wikipedii
 * Abych přidal(a) informace do článku na Wikipedii
 * Abych do Wikipedie přidal(a) další článek
 * Abych si mohl(a) Wikipedii číst
 * Jiné (prosím popište)

Naše první otázka se ptá na důvod, proč si uživatel vytvořil účet, a nabízí několik odpovědí, stejně jako možnost "Jiné", která uživateli nabídne textové pole pro bližší vysvětlení. Pro naše dvě cílové Wikipedie platí následující výsledky:

První věcí, které si můžete všimnout, asi je, že nejčastěji volená možnost se liší v závislosti na jazykové verzi. Čeští nováčci nejčastěji volí vytvoření nového článku (32,6 %), zatímco pro korejské nováčky je to čtení (28,8 %). V obou dvou jazycích je druhá možnost třetí položkou na seznamu nejčastějších - čtení bylo zvoleno 17,5 % českých respondentů a tvorba nového článku 19,7 % korejských nováčků. Je zajímavé zjistit, že nováčci si často vytvářejí uživatelský účet proto, aby mohli Wikipedii číst - jelikož držení účtu nic na čtení nemění. Toto nám může ukazovat, že nováčci nechápou, proč si na Wikipedii mohou vytvořit uživatelský účet, a také to může být příležitost zaktivizovat uživatele jak jako čtenáře, tak i potenciální autory. In Czech it is creating a new article that is selected by 32.6% of respondents, while in Korean it is reading (28.8%). In both languages, the other option is third on the list, reading was chosen by 17.5% of Czech respondents, and creating a new article by 19.7% in Korean. It's interesting to learn that reading Wikipedia motivates a lot of account creation, since having an account does not materially change the reading experience. That may point to a misperception around account creation, but may also be an opportunity to engage users both as readers and potential editors.

Přidání informace do článku je konzistěntně druhou volenou možností (se srovnatelným množstvím nováčků volících tuto možnost - asi 25 %), a to v obou dvou jazycích. To samé platí o opravování chyby v článcích, což je konzistentně čtvrtou položkou na seznamu s asi 17 % nováčků volících tuto možnost.

Editovali jste již Wikipedii?
Editovali jste někdy Wikipedii?


 * Ano, mockrát
 * Ano, jednou či dvakrát
 * Ne, nevěděl jsem, že to jde
 * Ne, jiné důvody
 * Nepamatuji si

Druhá otázka se ptá na to, zda uživatel někdy Wikipedii editoval, a obsahuje pět možných odpovědí. Někteří respondenti také dotazník potvrzují bez odpovídání na tuto otázku. Tabulka 3 obsahuje přehled odpovědí. Procenta jsou opět založená na celkovém počtu odpovědí. Zjistili jsme, že v obou dvou jazycích je "Ne, nevěděl jsem, že mohu Wikipedii editovat" nejčastější odpovědí, a že většina uživatelů nikdy Wikipedii needitovala (sečtené dvě odpovědi "Ne": čeština 50,5 %, korejština 63,2 %). Vzhledem k tomu, že odpověď "Ne, nevěděl jsem, že mohu Wikipedii editovat" je tak populární dává smysl, že většina nováčků si vytváří účet za účelem čtení. I tak nás ale překvapuje, že jsou tato čísla tak vysoká. Jedna hypotéza je, že tato otázka znamená pro různé respondenty různé věci. Jedna z možných interpretací je, že "Ne, nevěděl jsem, že mohu editovat Wikipedii do doby, než jsem narazil na tento dotazník" a druhá interpretace je "Ne, nevěděl jsem, že mohu Wikipedii editovat až do nedávné doby a jakmile jsem se to dozvěděl, rozhodl jsem se vytvořit tento účet". O tomhle se dozvíme něco více, jakmile zanalyzujeme data více do hloubky a v kontextu s ostatními odpovědmi. Poté se můžeme rozhodnout refrázovat některé otázky. Regarding the "No, I didn't know I could edit Wikipedia" response, it makes sense that many people would give this answer given how many say they are creating their account for the purpose of reading. But we were also surprised that the number was quite so high. One hypothesis is that the question might be interpreted to mean different things by different respondents. One possible interpretation is "No, I didn't know I could edit Wikipedia until this survey question pointed it out", and another is "No, I didn't know I could edit Wikipedia until recently, but once I discovered that I could, I decided to create this account." We will learn some more about this question once we make cross-tabulations against the other questions, and we can consider clearer phrasings of these responses in the future.

Je také vhodné zmínit, že pořadí odpovědí je v obou jazycích stejné, a že je rozdílné od pořadí, v jakém jsou odpovědi uživatelům zobrazeny. To znamená, že nováčci prostě nevyberou první možnost ze seznamu, ale namísto toho nám aktivně sdělují, že nikdy Wikipedii needitovali.

Vyberte témata, které byste rádi editovali
''Lidé mohou editovat články na Wikipedii týkající se témat, o která se zajímají. Níže se nachází seznam populárních témat. Vyberte témata, která byste mohli editovat:''

Výslovně vloženo jako zaškrtávající políčka: Umění, Věda, Geografie, Historie, Hudba, Sport, Literatura, Náboženství, Populární kultura.

Dostupné v rozbalovacím menu: Zábava, Jídlo a pití, Biografie, Vojenství, Ekonomie, Technologie, Film, Filozofie, Podnikání, Politika, Vláda, Strojírenství, Řemeasla a koníčky, Hry, Zdraví, Společenské vědy, Doprava, Vzdělání.

Třetí část dotazníku žádá respondenty, aby vybrali témata, které mohou chtít editovat. Devět témat jsou dostupná jako zaškrtávací políčka a dalších 18 témat je předvyplněno v poli, do kterého uživatel může napsat další témata. Toto pole umožňuje vložení jakéhokoliv textu, což dovoluje respondentům vložit jakékoliv další téma. Respondenti si mohou vybrat a vložit libovolný počet témat.

Tato analýza pokrývá pouze námi poskytnutá témata. Další analýza se bude věnovat tématům poskytnutým uživateli, jelikož to vyžaduje překlad těchto tématů. Níže vám ukážeme jednu tabulku pro každý jazyk. Tabulka uvádí způsob, jak uživatel toto téma může vybrat buď jako "zaškrtávající políčko", což znamená, že je součástí jednoho z devíti zaškrtávacích políček, "předvyplněné", což znamená, že jde o jedno z osmnácti předvyplněných témat k dispozici v políčku pro volný text nebo "jiné", což znamená, že jde o téma přidané respondentem.

We can see that the dominating topics are all the ones listed in the checkboxes. The least frequent checkbox is selected by 20.8% of respondents, while the most frequent topic in the free-form field is only chosen by 3.5% of respondents. It is noteworthy that respondents are selecting multiple topics, as opposed to just one.

Spatřili jsme obdobný trend v korejštině jako v češtině: zaškrtávací políčka jsou více populární, ačkoliv rozdíl mezi nejméně populárním zaškrtávacím políčkem a nejvíce populárním předvyplněným tématem je menší (11,0 %) v korejštině než v češtině (17,3 %).

Chtěli byste být kontaktováni s nabídkou pomoci s editováním?
''Uvažujeme o spuštění projektu, který by umožnil propojit zkušené wikipedisty s nováčky. Chcete, aby vás v takovém případě zkušený wikipedista kontaktoval a pomohl vám s editováním?''

Zjistii jsme, že v obou jazycích by nabídku pomoci s editováním ocenilo překvapivě velké množství nováčků. Jde o 164 uživatelů v češtině (36,4 % ze všech respondentů) a 273 uživatelů v korejštině (52,7 %). To znamená, že velké množství nováčků by ocenilo pomoc s editováním, což je prostor pro intervenci komunity. Jakmile se do dat z dotazníku více ponoříme, porovnáme odpovědí nováčků v závislosti na odpověď na otázku "Editovali jste již někdy Wikipedii?", stejně jako na otázku "Proč jste si vytvořili uživatelský účet?".

Přidání e-mailové adresy
Uživatelům, kteří nepřidali e-mailovou adresu v průběhu vytvoření účtu, je umožněno tak učinit během vyplňování dotazníku. Zjistili jsme, že se tak rozhodlo jen velmi málo lidí - 13 na české a 20 na korejské Wikipedii. To odpovídá 6,5 % českých uživatelů, kteří při vyplňování dotazníku e-mailovou adresu vyplněnou neměli a 5,7 % korejských uživatelů.

Znovuzodpovězení dotazníku
Ačkoliv pro to není explicitní postup, uživatelé mohou dotazník vyplnit několikrát pomocí znovunavštívení URL s dotazníkem. Ukládáme pouze nejnovější odpověď, což znamená, že považujeme jejich nejnovější odpovědi za nejpřesnější. Zároveň ukládáme počet vyplnění dotazníku. Tabulka 8 ukazuje příslušná čísla. Zjistili jsme, že je poměrně nepravděpodobné, že uživatel dotazník vyplní vícekrát, a pokud už to někdo udělá, je to typicky pouze jednou. Nevidíme proto důvod vyhazovat odpovědi lidí, kteří dotazník vyplnili vícekrát, a možná změnili své odpovědi.

Kontrola logické správnosti
Na nasbíraných datech jsme provedli kontroly logické správnosti, abychom se ujistili, že věci fungují jak mají. Spočítali jsme například procento uživatelů, kterým byl zobrazen dotazník, a počet uživatelů spadajících do kontrolní skupiny, což by ideálně mělo vyjít půl na půl. Ukazuje se, že tak tomu je - na české Wikipedii jsou tyto procenta 49,7 %/50,3 % dotazník/kontrolní a na korejské Wikipedii je to obráceně. Narazili jsme na některé rozdíly s registracemi vytvořenými z počítače a z mobilu (v některých případech je to 47/53), ale není to tak velký rozdíl, u kterého bysme měli obavu z nesprávně fungujícího rozdělování do skupin.

Při připravování této zprávy jsme data neposuzovali tak pečlivě, abychom odhadovali, zda odpovědi mohou být pravdivé. Například, pokud uživatel řekl, že Wikipedii mnohokrát editoval, ale že nevěděl, že to jde, nejspíše bychom měli zahodit nejméně odpovědi na tyto dvě otázky, možná i celý dotazník. O tomto možném problému víme a vyřešíme ho při podrobnější analýze dat z dotazníku někdy v budoucnu.

Poznámky pod čarou


Příloha A: E-mailové adresy přidané při registraci
Jak jsme rozpoznali, kolik uživatelů nevyplnilo svou e-mailovou adresu při registraci, abychom mohli vypočítat tuto hodnotu? Toto není triviální, protože v databázi MediaWiki není čas, kdy uživatel přidal svou e-mailovou adresu, ani pro to neexistuje logovací schéma. Jedinou informací, kterou máme k dispozici, je čas vypršení validačního odkazu, který je zaslán uživateli když přidá nějakou e-mailovou adresu.

Prozkoumali jsme rozdíl mezi vytvořením účtu a expirací validačního odkazu pro účty vytvořené mezi 1. lednem a 1. červencem 2018 na obou Wikipediích a zjistili, že rozdíl je obvykle něco více, než 7 dní. Jak moc je "něco více"? V drtivé většině případů méně než 10 sekund. Myslíme si, že rozdíl je způsoben rozdílem mezi časem registrace a časem zasílání validačního odkazu (až v tuto chvíli je totiž čas expirace nastaven na "sedm dní odteď"). Poté jsme vytvořili jednoduchou heruistiku pro rozpoznání, zda uživatel vložil e-mailovou adresu při registraci - pomocí zjišťování, zda je rozdíl mezi těmito časy menší než 1 týden a deset sekund.

Další věcí, kterou jsme museli zvážit, je fakt, že nevíme, zda uživatel náhodou nevložil svou e-mailvoou adresu při registraci, ale poté se rozhodl ji smazat. To by znamenalo, že by se v naší statistice objevil jako "nepřidal e-mail při registraci". Zjistili jsme, že takto se uživatelé nejspíše rozhodují jen málokdy, protože 64 % českých a 75 % korejských registrací nemělo validovanou e-mailovou adresu. To znamená, že uživatelé buďto přidají adresu, kterou nevybírají, nebo se o validaci nestarají, což pro nás znamená, že je nepravděpodobné, že se tuto adresu rozhodnou vymazat.

Nakonec musíme upozornit na to, že přidání e-mailu nebylo časově omezené - to znamená, že lidé, kteří vyplnili dotazník krátce po jeho nasazení měli více času do svého nastavení přidat e-mailovou adresu. V budoucích analýzách toto omezení bude, ale mezitím budeme počítat s tím, že uživatelé, kteří e-mail nevyplnili, toto málokdy udělají později (jinými slovy, že je nepravděpodobné, že uživatel přidá e-mailovou adresu někdy po registraci).