Growth/Aktualizace Analytics/Úvodní zpráva uvítacího průzkumu

From mediawiki.org
This page is a translated version of the page Growth/Analytics updates/Welcome survey initial report and the translation is 100% complete.

Jako součást projektu týmu Growth Porozumění prvnímu dni jsme 19. listopadu 2018 krátce po dvacáté hodině nasadili uvítací dotazník pro českou a korejskou Wikipedii. Účelem tohoto dotazníku je získání informací o nováčcích, abychom jim mohli pochopit jejich vstup na wiki a mohli jim usnadnit dosáhnout jejich cílů. Před zahájením jsme publikovali plán experimentu, ve kterém jsme detailně popsali, co budeme sledovat a proč. Tato stránka je prvotní zprávou o výsledcích dotazníku. Publikujeme i více detailní analýzu, která zodpovídá na mnohé otázky položené v plánu experimentu.

V této zprávě vám přinášíme rychlý přehled odpovědí na dotazník založený na účtech vytvořených mezi nasazením a 17. prosincem 2018. Nepočítali jsme ani interval spolehlivosti, ani statistickou významnost těchto dat. Netvrdíme nic o významných odlišnostech (kupř. mezi dvěma Wikipediemi nebo mezi skupinami uživatelů). Také jsme ještě neposuzovali otázky ve vzájemné souvislosti nebo v souvislosti s daty z cesty editora. Namísto toho prezentujeme tuto zprávu jako předběžné poznatky. Diskutujeme různé možné kroky, které tyto poznatky mohou napovídat. V následujícím čtvrtletí zpracujeme podrobnější analýzu.

Nejdůležitější poznatky

  • Většina nováčků na dotazník odpovídá. Návratnost dotazníku je 67 % a 62 % na české i korejské Wikipedii.
  • Nedomníváme se, že dotazník zapříčiňuje odchod některých nováčků.
  • Nejčastějším důvodem, proč si korejští nováčci zakládají účet, je čtení článků - ne editování (29 %). V české Wikipedii tuto odpověď zvolilo 18 % lidí. Tento vysoký počet může znamenat příležitost sdělit těmto lidem, že je možné a snadné Wikipedii editovat.
  • Většina respondentů v obou jazycích nikdy Wikipedii needitovala (51 % českých a 63 % korejských). Tato čísla ale také znamenají, že velká část nováčků již v minulosti editovala (ať již anonymně nebo na jiném účtu). Mají tedy určité znalosti o tom, jak Wikipedie funguje.
  • Korejští respondenti častěji vyplňovali vlastní témata namísto používání jen těch předvyplněných, než čeští. 28 % korejských respondentů přidalo vlastní témata a jen 9 % českých.
  • Překvapivě velký počet lidí uvítá, když jsou kontaktováni s nabídkou pomoci - 36 % českých a 53 % korejských. Tohle je silné potvrzení toho, že existuje prostor pro lidskou nápovědu.
  • Několik lidí, kteří nepřidali svou e-mailovou adresu v registračním procesu, přidalo svou e-mailovou adresu uvnitř uvítacího dotazníku. Tato čísla jsou dostatečně velká, aby prokázala svůj potenciál (6 % korejských a 7 % českých), ale dostatečně malá, abychom zvažovali lepší způsob, jak nováčky přesvědčit ke sdělení své e-mailové adresy.

Pozadí

Původní motivací pro tento dotazník bylo sesbírat data o uživatelích, abychom mohli posoudit jejich vnímání. O našich názorech, jak tato data využít, si můžete více přečíst zde.

Během čtyř týdnů po nasazení byl dotazník zobrazen náhodně vybrané polovině nově vytvořených účtů (to znamená, že dotazník nebyl zobrazen uživatelům, kteří již účet měli jinde, tzv. "automaticky vytvořené účty"). Toto A/B testování mezi dotazníkovou a kontrolní skupinou bylo implementováno, abychom mohli zjistit, zda dotazník vede k nižšímu počtu nováčků, kteří udělají svou první editaci do 24 hodin od vytvoření účtu (což nazýváme "aktivací nováčka"). Analýza výsledků tohoto experimentu bude teprve vytvořena.

Jak dotazník vypadá si můžete nejrychleji zobrazit v našem grafickém návrhu. Dotazník je zobrazen v češtině, resp. v korejštině.

Počet odpovědí

Na české Wikipedii jsme dotazník ukázali 669 a na korejské 836 uživatelům. V okamžiku, kdy si uživatel zobrazí dotazník, dostane několik otázek ke zodpovězení. Všechny otázky jsou nepovinné. Poté mohou odeslat dotazník kliknutím na tlačítko "Dokončit" (i když neodpověděli na žádnou otázku), zahodit své dosavadní odpovědi kliknutím na tlačítko "Přeskočit dotazník" nebo udělat cokoli jiného, co způsobí odejití ze stránky s dotazníkem (např. kliknutí na odkaz v levém navigačním menu nebo zavření záložky v prohlížeči). To nazýváme "zrušením dotazníku". Rozložení těchto akcí pro posuzované wiki je následující:

Tabulka 1: Přehled počtu odpovědí
čeština korejština
Akce počet % počet %
Dotazník odeslán 451 67.4% 518 62.0%
Přeskočen 81 12.1% 99 11.8%
Zrušen 137 20.5% 219 26.2%

Tabulka 1 ukazuje, že většina uživatelů dotazník vyplní, což je skvělé! Jak uvidíme níže, uživatelé také na naše otázky odpovídají (namísto toho, aby odeslali dotazník bez odpovědí). Procento uživatelů nedokončujících dotazník vypadá, že je vcelku vysoké. Nejprve jsme si mysleli, že to znamená, že dotazník způsobuje, že nováčci Wikipedii zcela opouští, což by bylo kontraproduktivní. Abychom tuto obavu vyřešili, podívali jsme se na data, která náš tým nasbíral v rámci projektu Porozumění prvnímu dnu, který zaznamenává stránky navštívené nováčky v průběhu jejich prvních 24 hodin na Wikipedii. Zjistili jsme, že jen malé procento uživatelů zcela opouští Wikipedii - v češtině jde o pouhých 47 uživatelů (7,0 %) a v korejštině o 99 uživatelů (11,8 %). Obě dvě čísla jsou nižší než práh, který jsme nastavili pro možné změny dotazníku nebo dokonce k jeho vyputí. Tato otázka bude odpovězena přesněji, jakmile zanalyzujeme data pro kontrolní skupinu.

Je také možné rozdělit data podle toho, zda byl účet vytvořen na počítači nebo z mobilu, ale zjistili jsme, že v obou dvou případech jsou procenta prakticky stejná.

Proč jste si dnes vytvořili účet?

Proč jste si dnes vytvořili účet?

  • Abych opravil(a) chybu v článku na Wikipedii
  • Abych přidal(a) informace do článku na Wikipedii
  • Abych do Wikipedie přidal(a) další článek
  • Abych si mohl(a) ve Wikipedii číst
  • Jiné (prosím, popište)

Naše první otázka se ptá na důvod, proč si uživatel vytvořil účet, a nabízí několik odpovědí, stejně jako možnost "Jiné", která uživateli nabídne textové pole pro bližší vysvětlení. Pro naše dvě cílové Wikipedie platí následující výsledky:

Tabulka 2: Proč jste si dnes vytvořili účet?
čeština korejština
Důvod počet % počet %
Vytvoření nového článku 147 32.6% 102 19.7%
Přidání informací do článku 110 24.4% 131 25.3%
K čtení ve Wikipedii 79 17.5% 149 28.8%
Oprava překlepu v článku 76 16.9% 90 17.4%
Bez odpovědi 21 4.7% 23 4.4%
Jiné 18 4.0% 23 4.4%

První věcí, které si můžete všimnout, asi je, že nejčastěji volená možnost se liší v závislosti na jazykové verzi. Čeští nováčci nejčastěji volí vytvoření nového článku (32,6 %), zatímco pro korejské nováčky je to čtení (28,8 %). V obou dvou jazycích je druhá možnost třetí položkou na seznamu nejčastějších - čtení bylo zvoleno 17,5 % českých respondentů a tvorba nového článku 19,7 % korejských nováčků. Je zajímavé zjistit, že nováčci si často vytvářejí uživatelský účet proto, aby mohli ve Wikipedii číst - jelikož zřízení účtu na čtení nic nemění. Toto nám může ukazovat, že nováčci nechápou, proč si mají na Wikipedii vytvořit uživatelský účet. Také to může být příležitost zaktivizovat uživatele nejen jako čtenáře, ale i jako potenciální autory.

Přidání informace do článku je shodné s druhou volenou možností (se srovnatelným množstvím nováčků volících tuto možnost - asi 25 %), a to v obou dvou jazycích. To samé platí o opravování chyby v článcích, což je shodné se čtvrtou položkou na seznamu s asi 17 % nováčků volícími tuto možnost.

Editovali jste již Wikipedii?

Editovali jste někdy Wikipedii?

  • Ano, mockrát
  • Ano, jednou či dvakrát
  • Ne, nevěděl jsem, že to jde
  • Ne, jiné důvody
  • Nepamatuji si

Druhá otázka se ptá na to, zda uživatel někdy Wikipedii editoval. Obsahuje pět možných odpovědí. Někteří respondenti také dotazník potvrzují bez odpovědi na tuto otázku. Tabulka 3 obsahuje přehled odpovědí. Procenta jsou opět založená na celkovém počtu odpovědí.

Tabulka 3: Editovali jste někdy Wikipedii?
čeština korejština
Odpověď počet % počet %
Ne, nevěděl jsem, že to jde 125 27.7% 191 36.9%
Ne, jiné důvody 103 22.8% 136 26.3%
Ano, jednou nebo dvakrát 94 20.8% 62 12.0%
Nepamatuji si 52 11.5% 54 10.4%
Ano, mnohokrát 50 11.1% 44 8.5%
Bez odpovědi 27 6.0% 31 6.0%

Zjistili jsme, že v obou dvou jazycích je "Ne, nevěděl jsem, že mohu Wikipedii editovat" nejčastější odpovědí, a že většina uživatelů nikdy Wikipedii needitovala (sečtené dvě odpovědi "Ne": čeština 50,5 %, korejština 63,2 %). Vzhledem k tomu, že odpověď "Ne, nevěděl jsem, že mohu Wikipedii editovat" je tak častá, dává smysl, že většina nováčků si vytváří účet za účelem čtení. I tak nás ale překvapuje, že jsou tato čísla tak vysoká. Jedna hypotéza je, že tato otázka znamená pro různé respondenty různé věci. Jedna z možných interpretací je, že "Ne, nevěděl jsem, že mohu editovat Wikipedii do doby, než jsem narazil na tento dotazník" a druhá interpretace je "Ne, nevěděl jsem, že mohu Wikipedii editovat až do nedávné doby a jakmile jsem se to dozvěděl, rozhodl jsem se vytvořit tento účet". O tomhle se dozvíme něco více, jakmile zanalyzujeme data více do hloubky i v kontextu s ostatními odpovědmi. Poté se můžeme rozhodnout změnit některé otázky.

Je také vhodné zmínit, že pořadí odpovědí je v obou jazycích stejné a že je rozdílné od pořadí, v jakém jsou odpovědi uživatelům zobrazeny. To znamená, že nováčci prostě nevyberou první možnost ze seznamu, ale namísto toho nám aktivně sdělují, že nikdy Wikipedii needitovali.

Vyberte témata, které byste rádi editovali

Lidé mohou editovat články na Wikipedii týkající se témat o která se zajímají. Níže se nachází seznam populárních témat. Vyberte témata, která byste mohli editovat:

Výslovně vloženo jako zaškrtávací políčka: Umění, Věda, Geografie, Historie, Hudba, Sport, Literatura, Náboženství, Populární kultura.

Dostupné v rozbalovacím menu: Zábava, Jídlo a pití, Biografie, Vojenství, Ekonomie, Technologie, Film, Filozofie, Podnikání, Politika, Vláda, Strojírenství, Řemesla a koníčky, Hry, Zdraví, Společenské vědy, Doprava, Vzdělání.

Třetí část dotazníku žádá respondenty, aby vybrali témata, která chtějí editovat. Devět témat je dostupných jako zaškrtávací políčka a dalších 18 témat je předvyplněno v poli do kterého uživatel může napsat další témata. Toto pole umožňuje vložení jakéhokoli textu. Což dovoluje respondentům vložit jakékoli další téma. Respondenti si mohou vybrat a vložit libovolný počet témat.

Tato analýza pokrývá pouze námi poskytnutá témata. Další analýza se bude věnovat tématům poskytnutých samotnými uživateli. Což vyžaduje překlad těchto témat. Níže vám ukážeme jednu tabulku pro každý z testovaných jazyků. Tabulka uvádí způsob, jak si může uživatel toto téma vybrat. Buď jako "zaškrtávající políčko" - je součástí jednoho z devíti zaškrtávacích políček. Nebo "předvyplněné" - jde o jedno z osmnácti předvyplněných témat, která jsou k dispozici v políčku pro volný text. A nebo "jiné" - jde o téma přidané respondentem.

Tabulka 4: Česká témata
Zdroj Téma počet %
zaškrtávací políčko věda 198 43.9%
zaškrtávací políčko historie 187 41.5%
zaškrtávací políčko umění 152 33.7%
zaškrtávací políčko hudba 146 32.4%
zaškrtávací políčko sport 144 31.9%
zaškrtávací políčko populární kultura 132 29.3%
zaškrtávací políčko geografie 130 28.8%
zaškrtávací políčko literatura 123 27.3%
zaškrtávací políčko náboženství 94 20.8%
předvyplněné zábava 16 3.5%
předvyplněné hry 16 3.5%
předvyplněné politika 13 2.9%
předvyplněné film 13 2.9%
předvyplněné ekonomie 10 2.2%
předvyplněné jídlo a pití 8 1.8%
předvyplněné společenské vědy 8 1.8%
předvyplněné biografie 7 1.6%
předvyplněné vzdělání 6 1.3%
předvyplněné řemesla a koníčky 6 1.3%
předvyplněné technologie 6 1.3%
předvyplněné vojenství 4 0.9%
předvyplněné filozofie 4 0.9%
předvyplněné podnikání 3 0.7%
předvyplněné vláda 2 0.4%
předvyplněné zdraví 2 0.4%
předvyplněné doprava 2 0.4%
jiné jiné 41 9.1%

We can see that the dominating topics are all the ones listed in the checkboxes. The least frequent checkbox is selected by 20.8% of respondents, while the most frequent topic in the free-form field is only chosen by 3.5% of respondents. It is noteworthy that respondents are selecting multiple topics, as opposed to just one.

Tabulka 5: Korejská témata
Zdroj Téma počet %
zaškrtávací políčko umění 218 42.1%
zaškrtávací políčko populární kultura 205 39.6%
zaškrtávací políčko věda 197 38.0%
zaškrtávací políčko historie 179 34.6%
zaškrtávací políčko hudba 158 30.5%
zaškrtávací políčko sport 114 22.0%
zaškrtávací políčko literatura 96 18.5%
zaškrtávací políčko náboženství 84 16.2%
zaškrtávací políčko geografie 78 15.1%
předvyplněné hry 21 4.1%
předvyplněné zábava 13 2.5%
předvyplněné podnikání 10 1.9%
předvyplněné ekonomie 10 1.9%
předvyplněné technologie 9 1.7%
předvyplněné vzdělání 9 1.7%
předvyplněné film 8 1.5%
předvyplněné zdraví 8 1.5%
předvyplněné filozofie 8 1.5%
předvyplněné strojírenství 7 1.4%
předvyplněné řemesla a koníčky 7 1.4%
předvyplněné politika 7 1.4%
předvyplněné jídlo a pití 6 1.2%
předvyplněné vojenství 6 1.2%
předvyplněné společenské vědy 6 1.2%
předvyplněné biografie 6 1.2%
předvyplněné vláda 4 0.8%
předvyplněné doprava 2 0.4%
jiné jiné 145 28.0%

Zjistili jsme obdobný trend jak v korejštině tak i v češtině: zaškrtávací políčka jsou populárnější, ačkoliv rozdíl mezi nejméně populárním zaškrtávacím políčkem a nejvíce populárním předvyplněným tématem je menší (11,0 %) v korejštině než v češtině (17,3 %).

Chtěli byste být kontaktováni s nabídkou pomoci s editováním?

Uvažujeme o spuštění projektu, který by umožnil propojit zkušené wikipedisty s nováčky. Chcete, aby vás v takovém případě zkušený wikipedista kontaktoval a pomohl vám s editováním?

Zjistili jsme, že v obou jazycích by nabídku pomoci s editováním ocenilo překvapivě velké množství nováčků. Jde o 164 uživatelů v češtině (36,4 % ze všech respondentů) a 273 uživatelů v korejštině (52,7 %). To znamená, že velké množství nováčků by ocenilo pomoc s editováním, což je prostor pro intervenci komunity. Jakmile se do dat z dotazníku ponoříme hlouběji, porovnáme závislosti odpovědí nováčků na otázku "Editovali jste již někdy na Wikipedii?", stejně jako na otázku "Proč jste si vytvořili uživatelský účet?".

Přidání emailové adresy

Uživatelům, kteří nepřidali emailovou adresu v průběhu vytvoření účtu, je umožněno učinit tak během vyplňování dotazníku. Zjistili jsme, že se k tomu rozhodlo jen velmi málo lidí - 13 na české a 20 na korejské Wikipedii. To odpovídá 6,5 % českých uživatelů, kteří při vyplňování dotazníku emailovou adresu vyplněnou neměli[footnotes 1]. Korejských uživatelů emailovou adresu poskytlo 5,7 %.

Opakované vyplnění dotazníku

Ačkoliv to není zřejmý postup, přesto uživatelé mohou dotazník vyplnit několikrát pomocí opětovného navštívení URL s dotazníkem. Ukládáme pouze nejnovější odpověď, což znamená, že považujeme jejich nejnovější odpovědi za nejpřesnější. Zároveň ukládáme počet vyplnění dotazníku. Příslušná čísla ukazuje tabulka 8.

Tabulka 8: Kolikrát byl dotazník vyplněn
čeština korejština
Počet odpovědí počet % počet %
1 512 96.2% 593 96.1%
2 14 2.6% 23 3.7%
3 4 0.8% 1 0.2%
4 2 0.4%

Zjistili jsme, že je poměrně nepravděpodobné, že uživatel dotazník vyplní vícekrát. Pokud už to někdo udělá, je to typicky pouze jednou. Nevidíme proto důvod mazat odpovědi lidí, kteří dotazník vyplnili vícekrát a možná změnili své odpovědi.

Kontrola logické správnosti

Abychom se ujistili, že věci fungují tak jak mají, provedli jsme na sebraných datech kontrolu logické správnosti. Spočítali jsme například procento uživatelů, kterým byl zobrazen dotazník, a počet uživatelů spadajících do kontrolní skupiny. Což by ideálně mělo vyjít půl na půl. Ukazuje se, že tak tomu je - na české Wikipedii jsou tyto procenta 49,7 %/50,3 % dotazník/kontrolní a na korejské Wikipedii je to obráceně. Narazili jsme na některé rozdíly s registracemi vytvořenými z počítače a z mobilu (v některých případech je to 47/53), ale není to tak velký rozdíl, u kterého bychom měli obavu z nesprávně fungujícího rozdělování do skupin.

Při připravování této zprávy jsme data neposuzovali tak pečlivě, abychom odhadovali, zda odpovědi mohou být pravdivé. Například, pokud uživatel řekl, že Wikipedii mnohokrát editoval, ale že nevěděl, že to jde, nejspíše bychom měli zahodit minimálně odpovědi na tyto dvě otázky. Možná i celý dotazník. O tomto možném problému víme a vyřešíme ho někdy v budoucnu při podrobnější analýze dat z dotazníku.

Poznámky pod čarou

  1. . Pro více informací týkajících se naší metodiky pro rozlišování, kdy uživatel poskytl emailovou adresu, se podívejte na přílohu níže

Příloha A: Emailové adresy přidané při registraci

Jak jsme rozpoznali, kolik uživatelů nevyplnilo svou emailovou adresu při registraci, abychom mohli vypočítat tuto hodnotu? Toto není jednoduché, protože v databázi MediaWiki není čas přidání emailové adresy uživatelem. Ani pro to neexistuje logovací schéma. Jedinou informací, kterou máme k dispozici, je čas vypršení ověřovacího odkazu, který je zaslán uživateli, pokud přidá nějakou emailovou adresu.

Prozkoumali jsme rozdíl mezi vytvořením účtu a odesláním ověřovacího odkazu pro účty vytvořené mezi 1. lednem a 1. červencem 2018 na obou Wikipediích a zjistili, že rozdíl je obvykle něco více než 7 dní. Jak moc je "něco více"? V drtivé většině případů méně než 10 sekund. Myslíme si, že rozdíl je způsoben rozdílem mezi časem registrace a časem zasílání ověřovacího odkazu (až v tuto chvíli je totiž čas odeslání nastaven na "sedm dní od tohoto okamžiku"). Poté jsme vytvořili jednoduché řešení pro rozpoznání, zda uživatel vložil emailovou adresu při registraci - pomocí zjišťování, zda je rozdíl mezi těmito časy menší než 1 týden a deset sekund.

Další věcí, kterou jsme museli zvážit, je fakt, že nevíme, zda uživatel náhodou nevložil svou emailovou adresu při registraci, ale poté se ji rozhodl smazat. To by znamenalo, že by se v naší statistice objevil jako "nepřidal email při registraci". Zjistili jsme, že takto se uživatelé nejspíše rozhodují jen málokdy, protože 64 % českých a 75 % korejských registrací nemělo ověřenou emailovou adresu. To znamená, že uživatelé buďto přidají adresu, kterou neruší, nebo se o ověření nestarají, což pro nás znamená, že je nepravděpodobné, že se tuto adresu rozhodnou vymazat.

Závěrem musíme upozornit na to, že přidání emailu nebylo časově omezené - to znamená, že lidé, kteří vyplnili dotazník krátce po jeho nasazení měli více času do svého nastavení přidat emailovou adresu. V budoucích analýzách toto omezení bude. Ale mezitím budeme počítat s tím, že uživatelé, kteří email nevyplnili, jej málokdy vyplní později (jinými slovy, že je nepravděpodobné, že uživatel přidá emailovou adresu později po registraci).