Growth/Analytics updates/Welcome survey initial report/cs

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page Growth/Analytics updates/Welcome survey initial report and the translation is 96% complete.

Other languages:
English • ‎čeština • ‎한국어

Jako součást projektu týmu Growth Personalized first day jsme 19. listopadu 2018 něco málo po dvacáté hodině nasadili uvítací dotazník na českou a korejskou Wikipedii. Účelem tohoto dotazníku je získání nějakých informací o nováčcích, abychom jim mohli personalizoat jejich zážitek na wiki a mohli jim usnadnit dosáhnout jejich cílů. Před zobrazením jsme publikovali |plán experimentu, ve kterém jsme detailně popsali, co budeme měřit a proč. Tato stránka je prvotním reportem výsledků dotazníku. Publikujeme i více detailní analýzu, která zodpovídá na mnohé otázky z plánu experimentu.

V této zprávě vám přinášíme rychlý přehled odpovědí na dotazník založený na účtech vytvořených mezi nasazením a 17. prosincem 2018. Nepočítali jsme ani interval spolehlivosti, ani statistickou významnost těchto dat, a netvrdíme nic o významných odlišnostech (kupř. mezi dvěmi Wikipediemi nebo mezi skupinami uživatelů). Také jsme ještě neposuzovali otázky ve vzájemné souvislosti, nebo v souvislosti s daty z cesty editora. Namísto toho prezentujeme tuto zprávu jako předběžné poznatky, a diskutujeme různé možné kroky, které tyto poznatky mohou napovídat, a v následujícím čtvrtletí uděláme podrobnější analýzu.

Nejdůležitější poznatky

  • Většina nováčků na dotazník odpovídá, návratnost dotazníku je 67 % a 62 % na české, respektive korejské Wikipedii.
  • Nedomníváme se, že dotazník zapříčiňuje odchod některých nováčků.
  • Nejčastějším důvodem, proč si korejští nováčci zakládají účet, je čtení článků - ne editování (29 %). V české Wikipedii tuto odpověď zvolilo 18 % lidí. Tento vysoký počet může znamenat příležitost sdělit těmto lidem, že je možné a snadné Wikipedii editovat.
  • Většina respondentů v obou jazycích nikdy Wikipedii needitovala (51 % českých a 63 % korejských). Tato čísla ale také znamenají, že velká část nováčků již v minulosti editovala (ať už anonymně nebo s jiným účtem), a mají tedy určité znalosti o tom, jak Wikipedie funguje.
  • Korejští respondenti vyplňovali vlastní témata namísto používání jen těch předvyplněných častěji, než čeští. 28 % korejských respondentů přidalo vlastní témata, a jen 9 % českých.
  • Překvapivě velký počet lidí uvítá, když jsou kontaktováni s nabídkou pomoci - 36 % českých a 53 % korejských. Tohle je silné potvrzení toho, že existuje prostor pro lidskou nápovědu.
  • Několik lidí z těch, co nepřidalo svou e-mailovou adresu v registračním procesu, přidalo svou e-mailovou adresu uvnitř uvítacího dotazníku. Tato čísla jsou dostatečně velká, aby prokázala svůj potenciál (6 % korejských a 7 % českých), ale dostatečně malá, abychom zvažovali lepší způsob, jak nováčky přesvědčit ke sdělení své e-mailové adresy.

Pozadí

Původní motivací pro tento dotazník bylo sesbírat data o uživatelích, abychom jim mohli personalizovat jejich zážitek. O našich myšlenkách, jak tyto data využít, si můžete přečíst více zde.

Během čtyř týdnů po nasazení byl dotazník zobrazen náhodně vybrané půlce nově vytvořených účtů (to znamená, že dotazník nebyl zobrazen uživatelům, kteří již účet měli jinde, tzv. "automaticky vytvořené účty"). Toto A/B testování mezi dotazníkovou a kontrolní skupinou bylo implementováno, abychom mohli zjistit, zda dotazník vede k nižšímu počtu nováčků, kteří udělají svou první editaci do 24 hodin od vytvoření účtu (což nazýváme "aktivací nováčka"). Analýza výsledků tohoto experimentu bude teprve vytvořena.

Jak dotazník vypadá si můžete nejrychleji zobrazit v našem grafickém návrhu. Dotazník je zobrazen v češtině, resp. v korejštině.

Počet odpovědí

Na české Wikipedii jsme dotazník ukázali 669 uživatelům, a na korejské 836. V okamžiku, kdy uživatel uvidí dotazník, dostane několik otázek ke zodpovězení. Všechny otázky jsou nepovinné. Poté mohou odeslat dotazník kliknutím na tlačítko "Dokončit" (i když neodpověděli na žádnou otázku), zahodit své odpovědi kliknutím na tlačítko "Přeskočit dotazník" nebo udělat něco jiného, co způsobí odejití ze stránky s dotazníkem (např. kliknutí na odkaz v levém navigačním menu nebo zavření záložky v prohlížeči). To nazýváme "zrušením dotazníku". Rozložení těchto akcí pro posuzované wiki je následující:

Tabulka 1: Přehled počtu odpovědí
čeština korejština
Akce # % # %
Dotazník odeslán 451 67.4% 518 62.0%
Přeskočen 81 12.1% 99 11.8%
Zrušen 137 20.5% 219 26.2%

Tabulka 1 ukazuje, že většina uživatelů dotazník vyplní, což je skvělé! Jak uvidíme níže, uživatelé také na naše otázky odpovídají (namísto toho, aby odeslali dotazník bez odpovědí). Procento uživatelů nedokončující dotazník vypadá, že je vcelku vysoké. Nejprve jsme si mysleli, že to znamená, že dotazník způsobuje, že nováčci Wikipedii zcela opouští, což by bylo kontraproduktivní. Abychom tuto obavu vyřešili, podívali jsme se na data, která náš tým nasbíral v rámci projektu Porozumění prvnímu dnu, který zaznamenává stránky navštívené nováčci v průběhu jejich prvních 24 hodin na Wikipedii. Zjistili jsme, že jen malé procento uživatelů zcela opouští Wikipedii - v češtině jde o pouhých 47 uživatelů (7,0 %), a v korejštině o 99 uživatelů (11,8 %). Obě dvě čísla jsou nižší než práh, který jsme nastavili pro možné změny dotazníku nebo dokonce jeho vyputí. Tato otázka bude odpovězena přesněji, jakmile zanalyzujeme data pro kontrolní skupinu.

Je také možné rozdělit data podle toho, zda byl účet vytvořen na počítači nebo z mobilu, ale zjistili jsme, že v obou dvou případech jsou procenta prakticky stejná

Proč jste si dnes vytvořili účet?

Proč jste si dnes vytvořili účet?

  • Abych opravil(a) chybu v článku na Wikipedii
  • Abych přidal(a) informace do článku na Wikipedii
  • Abych do Wikipedie přidal(a) další článek
  • Abych si mohl(a) Wikipedii číst
  • Jiné (prosím popište)

Naše první otázka se ptá na důvod, proč si uživatel vytvořil účet, a nabízí několik odpovědí, stejně jako možnost "Jiné", která uživateli nabídne textové pole pro bližší vysvětlení. Pro naše dvě cílové Wikipedie platí následující výsledky:

Tabulka 2: Proč jste si dnes vytvořili účet?
čeština korejština
Důvod # % # %
Vytvoření nového článku 147 32.6% 102 19.7%
Přidání informací do článku 110 24.4% 131 25.3%
K čtení Wikipedie 79 17.5% 149 28.8%
Oprava překlepu v článku 76 16.9% 90 17.4%
Bez odpovědi 21 4.7% 23 4.4%
Jiné 18 4.0% 23 4.4%

První věcí, které si můžete všimnout, asi je, že nejčastěji volená možnost se liší v závislosti na jazykové verzi. Čeští nováčci nejčastěji volí vytvoření nového článku (32,6 %), zatímco pro korejské nováčky je to čtení (28,8 %). V obou dvou jazycích je druhá možnost třetí položkou na seznamu nejčastějších - čtení bylo zvoleno 17,5 % českých respondentů a tvorba nového článku 19,7 % korejských nováčků. Je zajímavé zjistit, že nováčci si často vytvářejí uživatelský účet proto, aby mohli Wikipedii číst - jelikož držení účtu nic na čtení nemění. Toto nám může ukazovat, že nováčci nechápou, proč si na Wikipedii mohou vytvořit uživatelský účet, a také to může být příležitost zaktivizovat uživatele jak jako čtenáře, tak i potenciální autory.

Přidání informace do článku je konzistěntně druhou volenou možností (se srovnatelným množstvím nováčků volících tuto možnost - asi 25 %), a to v obou dvou jazycích. To samé platí o opravování chyby v článcích, což je konzistentně čtvrtou položkou na seznamu s asi 17 % nováčků volících tuto možnost.

Editovali jste již Wikipedii?

Editovali jste někdy Wikipedii?

  • Ano, mockrát
  • Ano, jednou či dvakrát
  • Ne, nevěděl jsem, že to jde
  • Ne, jiné důvody
  • Nepamatuji si

Druhá otázka se ptá na to, zda uživatel někdy Wikipedii editoval, a obsahuje pět možných odpovědí. Někteří respondenti také dotazník potvrzují bez odpovídání na tuto otázku. Tabulka 3 obsahuje přehled odpovědí. Procenta jsou opět založená na celkovém počtu odpovědí.

Tabulka 3: Editovali jste někdy Wikipedii?
čeština korejština
Odpověď N % N %
Ne, nevěděl jsem, že to jde 125 27.7% 191 36.9%
Ne, jiné důvody 103 22.8% 136 26.3%
Ano, jednou nebo dvakrát 94 20.8% 62 12.0%
Nepamatuji si 52 11.5% 54 10.4%
Ano, mnohokrát 50 11.1% 44 8.5%
Bez odpovědi 27 6.0% 31 6.0%

Zjistili jsme, že v obou dvou jazycích je "Ne, nevěděl jsem, že mohu Wikipedii editovat" nejčastější odpovědí, a že většina uživatelů nikdy Wikipedii needitovala (sečtené dvě odpovědi "Ne": čeština 50,5 %, korejština 63,2 %). Vzhledem k tomu, že odpověď "Ne, nevěděl jsem, že mohu Wikipedii editovat" je tak populární dává smysl, že většina nováčků si vytváří účet za účelem čtení. I tak nás ale překvapuje, že jsou tato čísla tak vysoká. Jedna hypotéza je, že tato otázka znamená pro různé respondenty různé věci. Jedna z možných interpretací je, že "Ne, nevěděl jsem, že mohu editovat Wikipedii do doby, než jsem narazil na tento dotazník" a druhá interpretace je "Ne, nevěděl jsem, že mohu Wikipedii editovat až do nedávné doby a jakmile jsem se to dozvěděl, rozhodl jsem se vytvořit tento účet". O tomhle se dozvíme něco více, jakmile zanalyzujeme data více do hloubky a v kontextu s ostatními odpovědmi. Poté se můžeme rozhodnout refrázovat některé otázky.

Je také vhodné zmínit, že pořadí odpovědí je v obou jazycích stejné, a že je rozdílné od pořadí, v jakém jsou odpovědi uživatelům zobrazeny. To znamená, že nováčci prostě nevyberou první možnost ze seznamu, ale namísto toho nám aktivně sdělují, že nikdy Wikipedii needitovali.

Vyberte témata, které byste rádi editovali

Lidé mohou editovat články na Wikipedii týkající se témat, o která se zajímají. Níže se nachází seznam populárních témat. Vyberte témata, která byste mohli editovat:

Výslovně vloženo jako zaškrtávající políčka: Umění, Věda, Geografie, Historie, Hudba, Sport, Literatura, Náboženství, Populární kultura.

Dostupné v rozbalovacím menu: Zábava, Jídlo a pití, Biografie, Vojenství, Ekonomie, Technologie, Film, Filozofie, Podnikání, Politika, Vláda, Strojírenství, Řemeasla a koníčky, Hry, Zdraví, Společenské vědy, Doprava, Vzdělání.

Třetí část dotazníku žádá respondenty, aby vybrali témata, které mohou chtít editovat. Devět témat jsou dostupná jako zaškrtávací políčka a dalších 18 témat je předvyplněno v poli, do kterého uživatel může napsat další témata. Toto pole umožňuje vložení jakéhokoliv textu, což dovoluje respondentům vložit jakékoliv další téma. Respondenti si mohou vybrat a vložit libovolný počet témat.

Tato analýza pokrývá pouze námi poskytnutá témata. Další analýza se bude věnovat tématům poskytnutým uživateli, jelikož to vyžaduje překlad těchto tématů. Níže vám ukážeme jednu tabulku pro každý jazyk. Tabulka uvádí způsob, jak uživatel toto téma může vybrat buď jako "zaškrtávající políčko", což znamená, že je součástí jednoho z devíti zaškrtávacích políček, "předvyplněné", což znamená, že jde o jedno z osmnácti předvyplněných témat k dispozici v políčku pro volný text nebo "jiné", což znamená, že jde o téma přidané respondentem.

Tabulka 4: Česká témata
Zdroj Téma # %
zaškrtávající políčko věda 198 43.9%
zaškrtávající políčko historie 187 41.5%
zaškrtávající políčko umění 152 33.7%
zaškrtávající políčko hudba 146 32.4%
zaškrtávající políčko sport 144 31.9%
zaškrtávající políčko populární kultura 132 29.3%
zaškrtávající políčko geografie 130 28.8%
zaškrtávající políčko literatura 123 27.3%
zaškrtávající políčko náboženství 94 20.8%
předvyplněné zábava 16 3.5%
předvyplněné hry 16 3.5%
předvyplněné politika 13 2.9%
předvyplněné film 13 2.9%
předvyplněné ekonomie 10 2.2%
předvyplněné jídlo a pití 8 1.8%
předvyplněné společenské vědy 8 1.8%
předvyplněné biografie 7 1.6%
předvyplněné vzdělání 6 1.3%
předvyplněné řemesla a koníčky 6 1.3%
předvyplněné technologie 6 1.3%
předvyplněné vojenství 4 0.9%
předvyplněné filozofie 4 0.9%
předvyplněné podnikání 3 0.7%
předvyplněné vláda 2 0.4%
předvyplněné zdraví 2 0.4%
předvyplněné doprava 2 0.4%
jiné jiné 41 9.1%

We can see that the dominating topics are all the ones listed in the checkboxes. The least frequent checkbox is selected by 20.8% of respondents, while the most frequent topic in the free-form field is only chosen by 3.5% of respondents. It is noteworthy that respondents are selecting multiple topics, as opposed to just one.

Tabulka 5: Korejská témata
Zdroj Téma # %
zaškrtávající políčko umění 218 42.1%
zaškrtávající políčko populární kultura 205 39.6%
zaškrtávající políčko věda 197 38.0%
zaškrtávající políčko historie 179 34.6%
zaškrtávající políčko hudba 158 30.5%
zaškrtávající políčko sport 114 22.0%
zaškrtávající políčko literatura 96 18.5%
zaškrtávající políčko náboženství 84 16.2%
zaškrtávající políčko geografie 78 15.1%
předvyplněné hry 21 4.1%
předvyplněné zábava 13 2.5%
předvyplněné podnikání 10 1.9%
předvyplněné ekonomie 10 1.9%
předvyplněné technologie 9 1.7%
předvyplněné vzdělání 9 1.7%
předvyplněné film 8 1.5%
předvyplněné zdraví 8 1.5%
předvyplněné filozofie 8 1.5%
předvyplněné strojírenství 7 1.4%
předvyplněné řemesla a koníčky 7 1.4%
předvyplněné politika 7 1.4%
předvyplněné jídlo a pití 6 1.2%
předvyplněné vojenství 6 1.2%
předvyplněné společenské vědy 6 1.2%
předvyplněné biografie 6 1.2%
předvyplněné vláda 4 0.8%
předvyplněné doprava 2 0.4%
jiné jiné 145 28.0%

Spatřili jsme obdobný trend v korejštině jako v češtině: zaškrtávací políčka jsou více populární, ačkoliv rozdíl mezi nejméně populárním zaškrtávacím políčkem a nejvíce populárním předvyplněným tématem je menší (11,0 %) v korejštině než v češtině (17,3 %).

Chtěli byste být kontaktováni s nabídkou pomoci s editováním?

Uvažujeme o spuštění projektu, který by umožnil propojit zkušené wikipedisty s nováčky. Chcete, aby vás v takovém případě zkušený wikipedista kontaktoval a pomohl vám s editováním?

Zjistii jsme, že v obou jazycích by nabídku pomoci s editováním ocenilo překvapivě velké množství nováčků. Jde o 164 uživatelů v češtině (36,4 % ze všech respondentů) a 273 uživatelů v korejštině (52,7 %). To znamená, že velké množství nováčků by ocenilo pomoc s editováním, což je prostor pro intervenci komunity. Jakmile se do dat z dotazníku více ponoříme, porovnáme odpovědí nováčků v závislosti na odpověď na otázku "Editovali jste již někdy Wikipedii?", stejně jako na otázku "Proč jste si vytvořili uživatelský účet?".

Přidání e-mailové adresy

Uživatelům, kteří nepřidali e-mailovou adresu v průběhu vytvoření účtu, je umožněno tak učinit během vyplňování dotazníku. Zjistili jsme, že se tak rozhodlo jen velmi málo lidí - 13 na české a 20 na korejské Wikipedii. To odpovídá 6,5 % českých uživatelů, kteří při vyplňování dotazníku e-mailovou adresu vyplněnou neměli[footnotes 1] a 5,7 % korejských uživatelů.

Znovuzodpovězení dotazníku

Ačkoliv pro to není explicitní postup, uživatelé mohou dotazník vyplnit několikrát pomocí znovunavštívení URL s dotazníkem. Ukládáme pouze nejnovější odpověď, což znamená, že považujeme jejich nejnovější odpovědi za nejpřesnější. Zároveň ukládáme počet vyplnení dotazníku. Tabulka 8 ukazuje příslušná čísla.

Table 8: How many times the survey was taken
čeština korejština
Number of responses N Prop. N Prop.
1 512 96.2% 593 96.1%
2 14 2.6% 23 3.7%
3 4 0.8% 1 0.2%
4 2 0.4%

Zjistili jsme, že je poměrně nepravděpodobné, že uživatel dotazník vyplní vícekrát, a pokud už to někdo udělá, je to typicky pouze jednou. Nevidíme proto důvod vyhazovat odpovědi lidí, kteří dotazník vyplnili vícekrát, a možná změnili své odpovědi.

Kontrola logické správnosti

Na nasbíraných datech jsme provedli kontroly logické správnosti, abychom se ujistili, že věci fungují jak mají. Spočítali jsme například procento uživatelů, kterým byl zobrazen dotazník, a počet uživatelů spadajících do kontrolní skupiny, což by ideálně mělo vyjít půl na půl. Ukazuje se, že tak tomu je - na české Wikipedii jsou tyto procenta 49,7 %/50,3 % dotazník/kontrolní a na korejské Wikipedii je to obráceně. Narazili jsme na některé rozdíly s registracemi vytvořenými z počítače a z mobilu (v některých případech je to 47/53), ale není to tak velký rozdíl, u kterého bysme měli obavu z nesprávně fungujícího rozdělování do skupin.

Při připravování této zprávy jsme data neposuzovali tak pečlivě, abychom odhadovali, zda odpovědi mohou být pravdivé. Například, pokud uživatel řekl, že Wikipedii mnohokrát editoval, ale že nevěděl, že to jde, nejspíše bychom měli zahodit nejméně odpovědi na tyto dvě otázky, možná i celý dotazník. O tomto možném problému víme a vyřešíme ho při podrobnější analýze dat z dotazníku někdy v budoucnu.

Poznámky pod čarou

  1. Pro více informací týkající se naší metodiky pro rozlišování, kdy uživatel poskytl e-mailovou adresu, vizte přílohu níže

Příloha A: E-mailové adresy přidané při registraci

Jak jsme rozpoznali, kolik uživatelů nevyplnilo svou e-mailovou adresu při registraci, abychom mohli vypočítat tuto hodnotu? Toto není triviální, protože v databázi MediaWiki není čas, kdy uživatel přidal svou e-mailovou adresu, ani pro to neexistuje logovací schéma. Jedinou informací, kterou máme k dispozici, je čas vypršení validačního odkazu, který je zaslán uživateli když přidá nějakou e-mailovou adresu.

Prozkoumali jsme rozdíl mezi vytvořením účtu a expirací validačního odkazu pro účty vytvořené mezi 1. lednem a 1. červencem 2018 na obou Wikipediích a zjistili, že rozdíl je obvykle něco více, než 7 dní. Jak moc je "něco více"? V drtivé většině případů méně než 10 sekund. Myslíme si, že rozdíl je způsoben rozdílem mezi časem registrace a časem zasílání validačního odkazu (až v tuto chvíli je totiž čas expirace nastaven na "sedm dní odteď"). Poté jsme vytvořili jednoduchou heruistiku pro rozpoznání, zda uživatel vložil e-mailovou adresu při registraci - pomocí zjišťování, zda je rozdíl mezi těmito časy menší než 1 týden a deset sekund.

Další věcí, kterou jsme museli zvážit, je fakt, že nevíme, zda uživatel náhodou nevložil svou e-mailvoou adresu při registraci, ale poté se rozhodl ji smazat. To by znamenalo, že by se v naší statistice objevil jako "nepřidal e-mail při registraci". Zjistili jsme, že takto se uživatelé nejspíše rozhodují jen málokdy, protože 64 % českých a 75 % korejských registrací nemělo validovanou e-mailovou adresu. To znamená, že uživatelé buďto přidají adresu, kterou nevybírají, nebo se o validaci nestarají, což pro nás znamená, že je nepravděpodobné, že se tuto adresu rozhodnou vymazat.

Nakonec musíme upozornit na to, že přidání e-mailu nebylo časově omezené - to znamená, že lidé, kteří vyplnili dotazník krátce po jeho nasazení měli více času do svého nastavení přidat e-mailovou adresu. V budoucích analýzách toto omezení bude, ale mezitím budeme počítat s tím, že uživatelé, kteří e-mail nevyplnili, toto málokdy udělají později (jinými slovy, že je nepravděpodobné, že uživatel přidá e-mailovou adresu někdy po registraci).