Growth/Personalizovaný první den/Domovská stránka
|
Newcomer homepage
 Give newcomers a landing place that contains what they need to accomplish their goals
|
_2020-04-09.png)
 | Tato stránka je zastaralá. |
Tato stránka popisuje práci týmu Growth na projektu Domovské stránky (dříve překládáno jako "nástěnka nováčka"), což je projekt, který je součástí větší iniciativy "Personalizovaný první den". Tato stránka obsahuje nejdůležitější informace a rozhodnutí. Více postupných aktualizací týkající se průběhu projektu bude k dispozici na všeobecné stránce s aktualitami, s většími a detailními informacemi vloženými zde.
Psaní kódu pro tento pro tento projekt začalo 19. února 2019, i přesto, že plánování a vývoj nadále pokračuje. První verze Domovské stránky určená pro počítače byla nasazena jako experiment 6. května 2019. Následující měsíce ukázaly, že Domovská stránka je dobrá platforma, na kterou se vrací mnoho nováčků. Během léta 2019 jsme zvýšili počet návštěv nově příchozích přidáním funkcí, které je povzbuzují, aby stránku objevili, a v listopadu 2019 jsme přidali funkci "Úkoly pro nováčky".
Současný stav
- 2018-12-06: komunitní diskuse o nápadech, jak personalizovat první den nováčků
- 2019-01-16: tým se rozhodl věnovat se projektu "aktivizačních e-mailů" a Domovské stránce nováčka.
- 2019-02-19: zahájen vývoj
- 2019-03-14: dokončeno testování grafických návrhů na uživatelích
- 2019-04-02: dostupné pro testování na beta wiki
- 2019-04-18: schválen měřící plán
- 2019-05-02: nasazeno na českou a korejskou Wikipedii, Domovskou stránku zatím nemá automaticky zapnutou žádný nováček
- 2019-05-06: experiment nasazen v české a korejské Wikipedii
- 2019-05-07: dokončení testování návrhů mobilní verze Domovské stránky
- 2019-06-26: nasazení mobilní verze Domovské stránky na české a korejské Wikipedii
- 2019-07-01: nasazení Domovské stránky (klasické i mobilní) ve vietnamské Wikipedii
- 2019-07-03: publikován analýza Domovské stránky
- 2019-07-24: nasazeno na arabské Wikipedii
- 2019-07-26: nasazeny funkce zvyšující množství nováčků, kteří na Domovskou stránku narazí
- 2019-11-20: byly nasazeny editační tipy
- 2024-02-23: spouští se projekt Community Updates, nový modul pro domovskou stránku.
Shrnutí
Z výzkumu víme, že nováčci na wiki přicházejí s určitým cílem, kterého se snaží dosáhnout. Pokud se jim to nepodaří, často odchází a již se nevracejí. Pro nováčky je obtížné byť i jen začít na svém cíli pracovat, částečně proto, že neexistuje jednoduché místo, od kterého se mohou odpíchnout. Takové místo můžeme vytvořit a tím nováčkům usnadnit orientaci a tedy splnění jejich cíle, který popisují v uvítacím dotazníku.
Pojmy "domovská stránka" a "stránka profilu" jsou podobné a související (definice viz Sekce glosářů níže). Obojí patří mezi osobní prostory uživatele, ale zatímco Domovská stránka prezentuje uživateli nástroje a zdroje, které potřebuje, uživatelská stránka umožňuje uživateli informace poskytovat směrem ven. V tomto projektu budeme tvořit personalizovanou Domovskou stránku, tj. každý uživatel bude moci vidět pouze "tu svou" Domovskou stránku.
Chceme:
- Poskytovat užitečný a personalizovaný obsah, s prioritizací nejrelevantnějšího obsahu.
- Propojit obsah angažovacích emailů s obsahem na wiki prostřednictvím domovské stránky nováčků.
- Zajistit, aby bylo nováčkům jasné, jak domovskou stránku navštívit (aby se mohla stát součástí, na kterou si nováček zvykne).
- Zvýšit množství nováčků, kteří u Wikipedie zůstanou.
- Dozvědět se, jaký druh obsahu vede k zvýšení množství nováčků, kteří u Wikipedie zůstanou.
Nechceme
- Vytvořit strukturovanou uživatelskou stránku (zatím, možná v budoucím projektu).
- Překážet nováčkům, kteří se chtějí po vytvoření účtu navrátit do editačního módu.
- Mít statickou Domovskou stránku, která by při příští návštěvě již nebyla zajímavá.
- Příliš Domovskou stránku personalizovat.
- Přetěžovat nováčky mnoha možnostmi.
Slovník pojmů
V tomto projektu se používá mnoho terminů, které mohou být matoucí. Tato sekce definuje každý z nich.
- "Hlavní strana"
- V současnosti existuje. Tuto stránku si zobrazíte, když jdete přímo na https://XY.wikipedia.org. Zobrazuje hlavní stránku projektu (například https://cs.wikipedia.org/wiki/Hlavní_strana).
- "Uživatelská stránka"
- V současnosti existuje na Wikipedista:VašeUživatelskéJméno. Mnoho uživatelů si své uživatelské stránky tvoří tak, že fungují jako nástěnky nebo profily.
- "Domovská stránka" nebo "panel"
- V současné době existuje
Special:Homepage. Řešení, které jsme vybudovali v tomto projektu. Obsahuje informace a nástroje, které může nováček používat. - "Profilová stránka"
- Zatím neexistuje. Může vypadat podobně, jako uživatelská stránka, jen strukturovaná. Fotografie, jméno, zájmy a jiné věci, které uživatelé chtějí sdílet s vnějším světem.
- Důležitý rozdíl mezi "domovskou stránkou" a "profilovou stránkou" je ten, že Domovská stránka obsahuje nástroje a zdroje, které uživatel potřebuje, zatímco profilová stránka obsahuje texty, které uživatel chce sdílet s ostatními. Mnoho platforem tyto dva koncepty míchá do jednoho, ale my můžeme začít s Domovskou stránkou a tyto dva koncepty tvořit separátně.
Proč má tato myšlenka přednost
Z našeho výzkumu víme, že nováčci se ve světě úprav Wikipedie cítí dezorientovaní. Zatímco zkušení editoři vědí, jak spojit nesourodé části wiki do soudržného zážitku (mluvené stránky, uživatelské stránky, WikiProjekty, seznam sledovaných položek, kategorie, historie stránek atd.), nováčci nevědí, jak je používat dohromady. Diví se: "Kde mám začít?" Můžeme postavit vstup, abychom odhalili věci, které nováčci potřebují vědět a udělat jako první – centralizované místo, kde se budou orientovat a kam se budou moci vracet pro budoucí práci. Taková stránka by mohla obsahovat stejný druh obsahu, který chceme posílat prostřednictvím e-mailů pro zapojení, ale v akčnější hloubce.
- Poskytuje centrální místo pro nováčky, kteří hledají místo, kde začít - 30 % až 40 % nově příchozích navštíví svou vlastní uživatelskou stránku první den na wiki, i když na ní nic není a žádné zvláštní úsilí se tam dostat. Věříme, že vidí své vlastní uživatelské jméno a doufají, že to bude "domovská stránka" nebo "panel". Uživatelské testování pro uvítací průzkum také odhalilo touhu po "panelu", kterým by mohl začít.
- Poskytuje vstupní bod pro nováčky, kteří jsou zmateni a neznají komunity, koncepty a zásady Wikipedie - nováčci se potýkají s politikami Wikipedie a jsou zmateni z toho, jak Wikipedie funguje a jak se oddělují od své komunity (výzkumná zjištění č. 5 a 8). Nevědí, kde začít, protože existuje ohromné množství potenciálních cest.
- Poskytuje místo pro nováčky, kteří hledají obsah nápovědy - 30 až 40 % nově příchozích navštíví stránku nápovědy nebo zásad první den na wiki.
- Poskytuje centrální místo pro postupné cesty k úpravám - dalším výzkumným zjištěním je, že noví editoři těží z progresivního učení a mají problém objevit a používat editační nástroje. (výsledky výzkumu #7 a #9).
- Domovské stránky jsou běžným prostředkem orientace uživatelů softwaru - prakticky všechny ostatní platformy pro příspěvky komunity (např. TripAdvisor, Wikia, Yelp, Reddit) do určité míry využívají koncept "home", kde uživatelé začínají svou relaci a orientují se.
- Poskytuje cíl pro opětovné spojení s uživateli, kteří se vrátili prostřednictvím komunikace mimo wiki. Vzhledem k tomu, že tento projekt probíhá souběžně s projektem e-mailů se zapojením, je výhodné mít jedno místo, ze kterého mohou uživatelé proklikávat a měřit efektivitu e-mailových kampaní.
Vývoj
Počáteční návrhy tohoto projektu lze vždy nalézt v této klikací maketě. Pro usnadnění jsou níže uvedeny konkrétní obrázky. První verze domovské stránky jsme nasadili, jakmile jsme vytvořili dostatečné množství modulů, aby byly cenné pro nováčky. Časem mohou být přidány další moduly.
Rozvržení domovské stránky
Obecně je domovská stránka navržena tak, aby na ní byla uspořádána řada modulů. Původním záměrem byla flexibilita prezentovat různá uspořádání s různými kombinacemi modulů v závislosti na odpovědích nováčka v uvítacím průzkumu a na jejich historii úprav. Níže byly uvedeny dva potenciální návrhy navržené pro Desktop. Pro mobily existují ekvivalentní návrhy.
-
Maketa potenciálního designu A pro novou domovskou stránku -
Maketa potenciálního designu B pro novou domovskou stránku
Tým se dohodl na návrhu pro počáteční nasazení v květnu 2019, přičemž obrázek ukazuje tento návrh níže.
-
Maketa vývoje pro počáteční nasazení nové domovské stránky v květnu 2019
Umístění
Hlavní hledisko ohledně domovské stránky pro nováčky je to, kde se bude nacházet a jak ji nováčci najdou. Tým zvažoval několik možností a dospěl k rozhodnutí:
- Přidejte jej jako další záložku do uživatelského prostoru – když si uživatel prohlíží svou uživatelskou stránku, vidí karty pro "Stránka" a "Diskuse". Mohli bychom přidat kartu pro "Domovskou stránku" a nastavit ji jako výchozí kartu, dokud uživatel nebude mít obsah na své uživatelské stránce. Bylo by důležité stále informovat uživatele, že si může nastavit svou uživatelskou stránku. Tuto možnost jsme zvolili, protože se domníváme, že mnoho uživatelů již přechází na svou uživatelskou stránku s očekáváním, že najdou domovskou stránku. Pro nás je také rychlejší vyvinout zcela novou stránku, než se pokoušet začlenit obsah této domovské stránky do existující stránky. Kartu vidí pouze samotný nováček.
Toto jsou další možnosti, které jsme zvažovali:
- Vyměňte normální hlavní stránku – když si uživatel právě nedávno vytvořil svůj účet, je nepravděpodobné, že by chtěl vidět "Vybraný článek", "Věděli jste" a "Tento den". Máme důvod se domnívat, že hledají místo, kde by mohli začít s úpravami, a hlavní stránku lze snadno najít. Víme také, že 45 % nováčků navštíví hlavní stránku během prvního dne, kdy mají založen účet.
- Přidejte jej jako sekci na stránce Uživatel – víme, že 30 % až 40 % nově příchozích navštíví svou vlastní uživatelskou stránku první den a že když se tam dostanou, stránka je úplně prázdná. víme, že 30 % až 40 % nově příchozích navštíví svou vlastní uživatelskou stránku první den a že když se tam dostanou, stránka je úplně prázdná.
- Udělejte z toho nový osobní nástroj – mohli bychom vytvořit novou domovskou stránku jako novou speciální stránku a poté na ni přidat odkaz v horní části navigace wiki spolu se seznamem sledovaných, příspěvky, předvolby atd.
- Udělejte to součástí existující speciální stránky, jako je seznam sledovaných – mnoho zkušených uživatelů již používá seznam sledovaných stránek jako svou domovskou stránku na wiki, a tak by zde možná mohla být provedena vylepšení, která budou přínosem pro všechny editory.
- Udělejte z něj panel, který může uživatel otevřít odkudkoli na wiki – místo stránky, na kterou musí uživatel přejít, může být domovskou stránkou panel, ke kterému má uživatel přístup, ať už provádí úpravy nebo čtení, aniž by ztratil své místo. To může být dobrý nápad pro pozdější iteraci.
Moduly
Domovská stránka obsahuje sadu modulů, z nichž každý představuje konkrétní nástroj nebo zdroj relevantní k tomu, aby nováčkovi pomohl dosáhnout jeho cílů a orientovat se na wiki. Z mnoha nápadů na moduly jsme se rozhodli pro první čtyři uvedené níže.
Modul nápovědy
Poskytuje užitečné odkazy, možnost vyhledávat nápovědu a možnost klást otázky komunitní nápovědě. Velmi podobná sada zdrojů jako panel nápovědy, ale vložená přímo na stránku. Úplný požadavek a podrobnosti viz T215986.
Modul dopadu
Ukazuje nováčkům, že si lidé prohlížejí stránky, na kterých pracovali. Zjistili jsme, že když si nováčci uvědomí, že jejich úpravy mají dopad, jejich motivace se zvýší. V jeho počáteční iteraci se zaměříme spíše na sdělení toho, co má nováček než na přesné měření tohoto dopadu. Tento modul by měl stav, kdy nováček ještě neprovedl žádné úpravy. Úplné požadavky a podrobnosti naleznete v části T216217.
Mentorský modul
Uvítací průzkum nám ukázal, že velká část nováčků má zájem být v kontaktu se zkušeným redaktorem a získat pomoc. S tímto modulem přidělíme každému nováčkovi "mentora" ze seznamu zkušených editorů v každé wiki, kteří se zaregistrovali. Nově příchozí uvidí své přidělené uživatelské jméno mentora na své domovské stránce a bude mít odkaz, kde je kontaktovat. Úplné požadavky a podrobnosti naleznete v části T216631.
Modul mentorství má také doprovodnou speciální stránku, kterou mohou mentoři použít k získání konkrétních mentorovaných. Tato funkce existuje, protože mentoři jsou přidělováni náhodně, ale školitel na osobní akci může chtít změnit výchozí mentory svých školitelů tak, aby všichni měli školitele jako svého mentora. Podívejte se na stránku Nápověda:Growth/Nástroje/Jak se stát mentorem nováčka?.
Startovací modul
Uživatelské testy původních návrhů domovské stránky pro nováčky jasně ukázaly, že nováčci hledají jasné místo, kde začít – konkrétně něco, co jim přesně řekne, jaké by měly být jejich první kroky. Tento modul objasňuje, že některé první dobré první věci, které je třeba na wiki udělat, je přidat nebo potvrdit e-mailovou adresu, projít si tutoriál nebo otevřít uživatelskou stránku. Jakmile uživatelé dokončí tyto úkoly, zobrazí se jim zelené ikony zaškrtnutí, které ukazují jejich postup. V budoucnu bychom si dokázali představit, že uživatelům poskytneme více doporučení úkolů, jakmile dokončí ty počáteční. Úplné požadavky a podrobnosti naleznete v části T217105.
Další moduly
Níže je uveden seznam dalších modulů, které jsou v procesu návrhu a plánování.
- Activity feed (zdroj aktivity) – zatímco mnoho aktivních editorů používá své seznamy sledování jako domovskou stránku, nováčci na svých seznamech sledování nic nemají. Můžeme jim vložit seznam zajímavých aktivit na základě témat, o která uvedli, že je zajímají, z uvítacího průzkumu. To jim může pomoci sledovat aktivitu na wiki a zjistit, že existuje živá komunita.
- Task recommendations (doporučení úkolů) – toto je jeden z modulů s nejvyšším potenciálem, ale také jeden z nejnáročnějších na sestavení. Na wikinách existuje mnoho nástrojů a přístupů k doporučení úkolů. Naší výzvou bude nováčkovi doporučit úkoly, které mají správnou úroveň obtížnosti a které jsou relevantní k tématům, která je zajímají. **Update:** Tento modul byl vyvinut v projektu Newcomer Tasks.
- Featured experienced editors (představení zkušených redaktorů) – modul, který zobrazuje uživatelská jména některých z nejaktivnějších editorů kolem témat, která nováčka zajímají.
- Interactive tutorial (nteraktivní návod) – modul, který uživateli umožňuje proklikat se řadou výukového obsahu.
- Recognition (uznání): modul, který počítá a zobrazuje poděkování a Wikilove přijaté uživatelem.
- Homepage feedback (zpětná vazba na domovskou stránku) – modul, který umožňuje uživateli uvést, zda považuje domovskou stránku za užitečnou či nikoli.
- Event/program specific (specifická událost/program) – v uvítacím průzkumu se ptáme uživatelů, proč si vytvořili svůj účet. Je pravděpodobné, že mnoho uživatelů si vytvoří svůj účet, protože jsou na editační akci nebo protože se snaží zúčastnit programu, jako je Wiki miluje památky. Možná, že když víme, jaké události nebo programu se zúčastní, můžeme komunitám umožnit přizpůsobit obsah domovské stránky související s touto událostí, aby uživatelé viděli, kam přesně jít a jak se zúčastnit, jakmile se dostanou na jejich domovskou stránku.
Initial version
In the initial version of the newcomer homepage, we want to answer these questions:
- Will having access to the homepage increase new editor activation, retention, and constructive edits?
- Do users who have access to the homepage go to, and return to, the homepage? Does it seem like the homepage is serving as a central location for people to get oriented?
- Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?
Therefore, we have decided to include these elements in the initial version:
- Shown in the User space
- Desktop only (mobile comes next)
- Four modules
- Help module
- Mentorship module
- Impact module
- Account completion module: gives some very simple recommendations of how to get started (add an email, start your user page)
- Layout not yet personalized for each user
- Deployed as A/B test, with half of user not having a homepage
Mobile design
The newcomer homepage is complex enough that its interface doesn't port simply to mobile. It needs to be designed deliberately and implemented separately from the desktop version. The team decided to deploy the initial version such that it displays only on desktop, which is where the majority of newcomers in our target wikis are working. About 70% of accounts created in Czech and Korean Wikipedias are created from desktop. But because of the additional 30% of accounts, a mobile version of the homepage was a top priority after releasing the desktop version.
Our team explored several designs for how to show the large amount of homepage information on a mobile device. The accompanying mockup shows two potential designs:
- Version 1: One that shows snippets of information for each module. Clicking on the snippets opens the module as a full screen.
- Version 2: One that actually has miniature versions of each module, from which the user can take action. These would also open to their full versions.
In April 2019, the team planned user testing and started working on Version 1, accepting community thoughts on mobile designs during that time.
The mobile version was deployed on June 26, 2019 for Czech and Korean newcomers and on July 1, 2019 for Vietnamese newcomers.
Future versions
See this page for full notes and drawings on ideas for future elements of the homepage.
In determining the initial version of the newcomer homepage, many ideas for features were set aside to be evaluated later on. Many of them are visible in the initial mockups here. The following is a list of capabilities that are either being built for the newcomer homepage, or may be built in the future:
- Features that drive newcomers to their homepage: in the initial version, newcomers will only discover their homepage if they click on their username in their personal tools. If we see early positive results from the homepage, we may build features that drive more newcomers toward it, such as Echo notifications, banners, or links.
- Personalization: the original objective of the broader "Personalized first day" project is to ask newcomers what they are trying to achieve on their first day and then personalize their experience to help them achieve it. Though the initial version will show the same homepage modules to all users, we can use welcome survey responses and edit history to show the most important things to the right users.
- Structured user page: in addition to having a homepage, many users also expect to have a "profile" page, in which they broadcast things about themselves that they tell the rest of the community. . Many Wikipedians use their User pages for this, but newcomers struggle to build a user page from scratch. Perhaps we can structure the experience of building a user page so that more newcomers succeed.
- Customization: users may want to customize their homepage to surface just the modules they find most useful and to adjust the settings on what those modules show.
- Other modules: see the "Other modules" section above.
User testing
Desktop
During the week of March 14, 2019, we used usertesting.com to conduct five tests of the desktop homepage prototype with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Gauge the discoverability of the homepage
- Do users understand that it is a homepage that they see and other users don’t?
- Gauge user reactions and understandability to the homepage as a whole
- Do people understand what the modules are?
- Which modules are most attractive?
- Is there anything else users would expect to be there or would like to do in the Homepage?
Summary of findings
- Most participants could not find a good way to get started with editing from Main Page. Only one participant proposed to click on the username in the personal tools area after quickly scanning the upper part of the page.
- 3 out of 5 participants examined the personal tools area, and comment they have no idea what terms like "Watchlist", "Contributions", and "Talk" mean.
- Only one participant expected to find step-by-step help on how to get started in the homepage.
- Most of the participants said they expected to find a profile page with information about them and their activity.
- When talking about what they expect to find after clicking on their username, participants used different terms to refer to the page they would land on to:
- Account page
- Profile page
- Dashboard
- All participants find the content in the homepage useful.
- 2 out of 5 users explicitly say they find the layout and the page clean and well set-up.
- The part of the page that participants find most useful is the help module, specifically pointing at the “Step-by-step guide” link.
- In general, it feels like participants didn’t expect to find something like the homepage after clicking on their username, but when presented with the content they find it useful and interesting.
- Some users expected to find personal data shown somewhere at the top of the page content.
- Many users are attracted by the impact module and feel it would be “encouraging”.
- Users seem to look for a list of their past and in-the-work contributions to Wikipedia.
- The majority of the users are confused about the "Create user page" call-to-action.
- After seeing the "Create user page" call-to-action, most users start wondering what is the difference between the homepage and the user page.
- The majority of the participants think that on the user page they would find:
- Personal information
- A list of articles they have written or they are working on.
- Information or a trigger to start creating new articles.
- Almost all the participants expected to find a user page already created for them, or a template, or wizard to guide them in the making of the page.
Recommendations
- A menu with dedicated creating and editing calls-to-action and tutorials, maybe a new "How to get started" tab in the personal tools (hovering with the cursor the top center of the page).
- A participant proposed to place a call-to-action at the top of the page to guide the user in need of help to the homepage.
- A participant proposed to feature notifications of reverts on the homepage (potentially in the impact module).
- A participant proposed to customize the recommendations in the recommendations module.
- Suggested naming for getting started CTA: get started, start, tutorial, first thing, new, post
Mobile
During the week of May 6, 2019, we used usertesting.com to conduct five tests of the mobile homepage prototype with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Gauge the discoverability of the mobile homepage.
- Gauge user reactions and understandability to the mobile homepage as a whole, in both unactivated (first-use) and activated (after some use) state of the modules
- Do users understand the purpose of the module overview and do they engage with it?
- Are users able to get to the full-screen version of the modules?
- Do users understand what the modules are for?
- Which modules are most attractive?
- Is there anything else users would expect to be there or would like to do in the homepage?
- Can users figure out how to return to their homepage after going elsewhere?
Summary of findings
- Users easily went to the hamburger menu to look for a way to get started with editing. But they usually assumed that they could begin editing by clicking "Contributions" instead of clicking their username.
- All users understood what the homepage is, and what it's for. They considered it useful, and well-designed. Navigating the page with module previews was no problem.
- The most difficult parts of the homepage to understand are:
- Impact module: unclear what "impact" means, especially when you have no edits yet. Contains no call to action to encourage someone to start editing.
- Mentorship module: unclear why the user has a mentor, how they were assigned, and who the mentor is.
- Several users consider "editing an article" to be different from "creating an article".
- Several users thought the help module would be more search-based, or contain Frequently Asked Questions.
- Users easily understood and navigated the tabbed layout between Homepage, User page, and Discussion.
- Some users used gestures (swiping) to navigate between pages.
Recommendations
- Add more information to the mentor module overview to make it clear whether the mentor is self-assigned, and what the mentor is there for.
- Improve the language in the impact module to make clear what impact is.
- Include a call-to-action in the unactivated state of the impact module before a user makes their first edit.
- Clarify the language in the hamburger menu. Perhaps "Home" could become "Main" and "Contributions" could become "Past contributions". Alternatively, we could include a link to the homepage or some other call-to-action in the empty "Contributions" page for newcomers.
Measurement and results
Measurement and experiment plan
Click here to view the full measurement and experiment plan.
High-level questions
These are the main things we want to find out from the help panel.
- Does receiving the homepage treatment increase editor activation?
- Does receiving the homepage treatment increase editor retention?
- Does having access to the homepage treatment increase the average number of edits in the first two weeks after registration?
- Does having access to the homepage increase the proportion of constructive edits?
- Do users who have access to the homepage go to, and return to, the homepage? What patterns do we see in homepage visits?
- Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?
- Are we able to effectively personalize the homepage?
- When the homepage is customizable, to what extent to do users avail themselves of that capability?
- If/when the effort exists to survey newcomers about the homepage, what can we learn qualitatively? Such a qualitative study could be done through Quick Surveys, or through a homepage module that simply asks about the rest of the homepage.
To gather the right data to answer these questions, we have implemented the HomepageVisit and HomepageModule EventLogging schemas.
Experiment plan
Half of newcomers in our target wikis will receive the "homepage treatment" and half will not. By “homepage treatment” we mean that a user both has the homepage on by default and is receiving the various ancillary features that drive them to the homepage, which may include banners, talk page messages, or links on Main Page. In the initial version, the only ancillary feature will be the fact that the username link in personal tools will go to the homepage.
This experiment will run for at least six months, giving us enough time to statistically detect meaningful changes in activation and retention as caused by the homepage treatment.
Leading indicators
The newcomer homepage experiment plan defines a set of leading indicators that the team evaluates in order to determine whether the feature is behaving as expected, and whether there are any urgent problems that need to be solved.
Using a month of data, we published an initial evaluation of leading indicators here. In summary, we are happy with the homepage's performance so far. We see about half of visitors clicking on something, and the majority of them returning to the homepage multiple times. There are a few specific takeaways and action items that come from our analysis so far:
- Since we see a lot of positive interaction, we are going to prioritize "features to aid discovery". As of June 2019, newcomers only find their homepage if they happen to click their username at the top of the page (which about 25-30% do). This additional work is meant to make sure that all newcomers are notified about their homepage and have the opportunity to visit it. We think we can increase the share of newcomers who visit their homepage at least once to 50-60%.
- Newcomers are asking questions via the mentorship module, but not at all via the help module. This may show us that asking a question to a specific, sympathetic person is more attractive for newcomers, than to an amorphous help desk.
Homepage interactions
As of August 30, we are pleased with the performance of the homepage. The majority of users who arrive on the homepage click on something, and all the modules on the page are receiving some user interaction. Many users return to the homepage multiple times, which hopefully means that they find it useful. Some of the specifics:
- 61% of homepage visitors click on something.
- 15% of visitors return to the homepage across multiple days.
- 245 users have asked questions in the mentorship module, and only 14 have asked questions in the help module.
- The most popular module is the "Create your userpage" module, with 31% of user interacting with it.
Below is a graphic showing what percent of newcomers interact with each of the modules. These numbers and those above vary somewhat by wiki, but the trends are generally consistent. This includes interactions from the mobile homepage, all shown on the desktop version for ease of understanding.
