Growth/Personalized first day/Newcomer tasks/cs

Tato stránka popisuje práci týmu Growth na projektu "Editační tipy", což je podprojekt větší iniciativy "Personalizovaný první den". Tato stránka obsahuje nejdůležitější informace a rozhodnutí. Více postupných aktualizací týkající se průběhu projektu bude k dispozici na všeobecné stránce s aktualitami, s většími a detailními informacemi vloženými zde.

Rychlý přehled o tom, co tým tvoří, si můžete vytvořit prohlédnutím těchto návrhů (využijte šipky pro navigaci mezi jednotlivými obrazovkami):


 * Počítač
 * Mobil
 * Filtrování dle témat

Práce na tvorbě grafických návrhů a konceptu tohoto projektu začaly 24. července 2019. První verze nástroje byla nasazena 20. listopadu 2019

Současný stav

 * 2019-07-24: první schůzka týmu k prodiskutování projektu
 * 2019-08-27: schůzka týmu o grafickém konceptu
 * 2019-09-09: vytvořeny úkoly na Phabricatoru pro vývojáře
 * 2019-09-23: dokončení testů použitelnosti na počítači
 * 2019-09-30: dokončení testu použitelnosti na mobilu
 * 2019-11-20: V1.0 nasazena na českou, korejskou, arabskou a vietnamskou Wikipedii
 * 2019-12-13: první verze byla nasazena na českou, korejskou, arabskou a vietnamskou Wikipedii
 * 2020-01-14: testování filtrování dle témat, k nasazení v týdnu od 20. ledna 2020
 * Další: deploying V1.1. (topic matching)

Shrnutí
Myslíme si, že nováčci by měli mít příležitost uspět v okamžiku, kdy poprvé na projekt dorazí. Velmi často se ale nováčci pokusí splnit úkol, který je pro ně příliš náročný, nebo žádný vhodný úkol najít nemohou, anebo nemohou přijít na to, co by mohli dělat po své první editaci. To vše vede k tomu, že mnoho z nováčků odchází a již se nevrací. V minulosti proběhlo několik úspěšných pokusů o doporučování úkolů nováčkům, a my věříme, že Domovská stránka je vhodným místem pro doporučování relevantních úkolů nováčkům.

Budeme muset myslet na několik věcí:
 * Nováčci často mají specifické cíle, které se snaží naplnit, například přidání určitého obrázku do určitého článku. Nechceme je od plnění tohoto předsevzatého úkolu odradit.
 * Nováčci své dovednosti tvoří postupně, od jednodušších editací k těm složitějším.
 * Pokud jsou nováčci ve svých začátcích úspěšní, jsou více motivovaní v editaci pokračovat.

Po vzetí těchto věcí v úvahu, rádi bychom nováčkům doporučili tipy, které nováčky naučí dovednostem, které pro editování Wikipedie potřebují, které odpovídají tématům, o které se nováček zajímá, a které přichází na správném místě ve správný čas.

Důležitým nástrojem pro zajištění relevantnosti úkolů je uvítací dotazník, který byl původně vybudován právě z tohoto důvodu - personalizovat rozhraní nováčků. Plánujeme použít informace, které nám nováčci dobrovolně o svých zájmech či cílech sdělují k tomu, abychom vybrali ty nejvhodnější úkoly.

Jednou z největších výzev bude samotné získávání úkolů, které by se daly doporučit. Existuje mnoho zdrojů pro úkoly, kupř. údržbové šablony, doporučení v nástroji Překlad obsahu nebo návrhy z nástrojů, jako je Citation Hunt. Otázkou je, která z těchto možností nováčkům nejlépe pomůže dosáhnout jejich cílů.

Nejprve budeme pro doporučování úkolů používat Domovskou stránku nováčka, ale v dlouhodobějším horizontu si dovedeme představit vytvoření funkcí, které budou doporučovat úkoly a pomáhat v jejich splnění přímo jako součást editačního rozhraní.

V dlouhodobějším horizontu budeme přemýšlet o způsobech, jak doporučení úkolů zakomponovat do ostatních prvků zážitku nováčka, jako je např. modul Dosah na Domovské stránce, nebo Panel Potřebuji pomoc.

Why this idea is prioritized
We know from research and experience that many newcomers fail early in their editing journey for one of these reasons:
 * They arrive with a very challenging edit in mind, such as writing a new article or adding an image. Those tasks are difficult enough that they likely fail and don't return.
 * They arrive without knowing what to edit, and can't find any edits to make.

We also know that on the newcomer homepage, the most frequently clicked-on module is the "user page" module -- the only thing on the page that encourages users to start editing. This makes us think that many users are looking for a clear way to get started with editing.

And from past Wikimedia endeavors, we've seen that task recommendations can be valuable. SuggestBot is a project that sends personalized recommendations to experienced users, and is a well-received service. The Content Translation tool also serves personalized recommendations based on past translations, and has been shown to increase the volume of editing.

For all these reasons, we think that recommending specific editing tasks for newcomers will give them a clear way to get started. For those newcomers that have an edit in mind that we want to do, we'll encourage them to try some easy edits first to build up their skills. For those newcomers who do not have a specific preference on what to edit, they'll hopefully find some good edits from this feature.

Glossary
''There are many terms that sound similar and can be confusing. This section defines each of them.''


 * "Newcomer tasks"
 * The entire workflow that recommends edits for newcomers and guides them through the edits.


 * "Suggested edits"
 * The name of the specific module that the newcomer tasks workflow adds to the newcomer homepage.


 * "Task recommendations" or "Task suggestions"
 * Lists of articles that need editing work, suggested automatically to users.


 * "Personalized"
 * Software that adapts automatically to each user to fit their needs.


 * "Customized"
 * Software that the user adapts to fit their needs.


 * "Topic"
 * A content subject, such as "Art", "Music", or "Economics".


 * "Topic matching"
 * The ability to find tasks for newcomers that match their topics of interest.


 * "Guidance"
 * Features that help the newcomer complete the suggested task while they are working on it.


 * "Maintenance template"
 * Templates that are put on articles indicating that work needs to be done on them.

Recommending tasks
The core challenge to this project is: Where will the tasks come from and how will we give the right ones to the right newcomers?

The graphic below shows our priorities when recommending tasks to newcomers.

As shown in the graphic above, we would give newcomers tasks that...


 * ...arrive at the right time and place for a newcomer's journey.
 * ...teach relevant conceptual and technical skills.
 * ...gradually guide users to build up their editing abilities.
 * ...be personalized to their interests.
 * ...show them the value and impact of editing.
 * ...motivate them to participate continually.

For instance, we do not want to give newcomers tasks that are irrelevant to what they hope to accomplish. If a newcomer wants to write a new article, then asking them to add a title description will not teach them skills they need to be successful.

We're splitting this challenge into two parts: the sourcing the tasks and topic matching.

Sourcing the tasks
There are many different places we could find tasks for newcomers to do. Our team listed as many as we could think of and evaluated them for whether they seem to be achievable for the first version of the feature. Below is a table showing the many sources of tasks that we evaluated in coming to the decision to start by using maintenance templates.

Version 1.0: basic workflow
In version 1.0, we will deploy the basic parts of the newcomer tasks workflow. It will recommend articles to newcomers that require different types of edits, but it will not match the articles to the newcomers' topics of interest (version 1.1), and it will also not guide the newcomers in completing the task (version 1.2).

Maintenance templates
We're going to be starting by using maintenance templates and categories to identify articles that need work. All of our target wikis use some set of maintenance templates or categories on thousands of articles, tagging them as needing copyediting, references, images, links, or expanded sections. And previous task recommendations software, such as SuggestBot, have used them successfully. These are some examples of maintenance categories:


 * Articles needing links in Arabic Wikipedia
 * Articles needing copyediting in Korean Wikipedia
 * Articles needing references in Czech Wikipedia



In this Phabricator task, we investigated exactly which templates are present and in what quantities, to get a sense of whether there will be enough tasks for newcomers. There seem to be sufficient numbers for the initial version of this project. We are likely to incorporate other task sources from the table below in future versions.

It's also worth noting that it could be possible to supplement many of these maintenance templates with automation. For instance, it is possible to automatically identify articles that have no internal links, or articles that have no references. This is an area for future exploration.

During the week of October 21, 2019, the members of the Growth team did a hands-on exercise in which we attempted to edit articles with maintenance templates. This helped us understand what challenges we can expect newcomers to face, and gave us ideas for addressing them. Our notes and ideas are published here.

Comparative review
Our team's designer reviewed the way that other platforms (e.g. TripAdvisor, Foursquare, Amazon Mechanical Turk, Google Crowdsource, Reddit) offer task recommendations to newcomers. We also reviewed Wikimedia projects that incorporate task recommendations, such as the Wikipedia Android app and SuggestBot. We think there are best practices we can learn from other software, especially when we see the same patterns across many different types of software. Even as we incorporate ideas from other software, we will still make sure to preserve Wikipedia's unique values of openness, clarity, and transparency. The main takeaways are below, and the full set of takeaways is on this page:


 * Task types – bucket into 4 types: Rating content, Creating content, Moderating/Verifying content, Translating content
 * Incentives – Most products offered intangible incentives mainly bucketed into the form of: Awards and ranking (badges), Personal pride and gratification (stats), or Unlocking features (access rights)
 * Reward incentives – promote badges or attainments of specific milestones (e.g., a badge for adding 50 citations)
 * Personalization/Customization – Most have at least one facet of personalization/customization. Most common customization is user input on surveys upon account creation or before a task, most common system-based personalization type is geolocalization
 * Visual design & layout – incentivizing features (stats, leaderboards, etc) and onboarding is visually rich compared to pared back, simple forms to complete short edits.
 * Guidance – Almost all products reviewed had at least basic guidance prior to task completion, most commonly introductory ‘tours’. In-context help was also provided in the form of instructional copy, tooltips, step-by-step flows,  as well as offering feedback mechanisms (ask questions, submit feedback)

Mockups
Our evolving designs can always be found in two sets of interactive mockups (use arrow keys to navigate): Those mockups contain explorations of all the difference parts of the user journey, which we have broken down into several parts:
 * Desktop
 * Mobile


 * 1) Gathering information from the newcomer: learning what we need in order to recommend relevant tasks.
 * 2) Feature discovery: the way the newcomer first encounters task recommendations.
 * 3) Task recommendations: the interface for filtering and choosing tasks.
 * 4) Guidance during editing: once the newcomer is doing a task, the guidance that helps them understand what to do.
 * 5) User feedback: ways in which the newcomer can indicate that they are not satisfied with the recommended task.
 * 6) Next edit: how we continue the user's momentum after the save an edit.

Below are some of the original draft design concepts as the team continues to refine our approach.

Desktop
Během 16. a 22. zářím jsme pracovali na testech použitelnosti s využitím společnosti usertesting.com. Provedli jsme šest testů prototypu editačních tipů na uživatelích, kteří s hnutím Wikimedia nemají nic společného. Tito uživatelé jsou placeni za testování návrhů a za odpovídání na otázky o jejich zážitku. Kompletní výsledky si můžete přečíst v tomto úkolu na Phabricatoru. Cíle testování byly:


 * 1) Změřit nalezitelnost editačních tipů.
 * 2) Identifikovat možnosti, jak vylepšit použitelnost modulu Editační tipy:
 * 3) Rozumí uživatelé tomu, jak vybrat a podívat se na doporučené články?
 * 4) Je pro uživatele snadné filtrovat podle témat a obtížnosti úkolů?
 * 5) Vědí uživatelé, jak editovat doporučený článek?
 * 6) Poznat reakce uživatelů na tipy, a zjistit, jak moc očekávají, že je rozhraní provede úkolem.


 * Shrnutí poznatků


 * Všichni uživatelé si myslí, že dává smysl dostávat doporučení založené na jejich oblasti zájmu.
 * Účastníci také pochopili existenci rozdílných úrovní obtížnosti.
 * Použitelnost modulu Editačních tipů byla extrémně vysoká. Lidé věděli, jak změnit témata či úrovně obtížnosti, jak si nechat zobrazit více článků a věděli, jak otevřít článek k editaci.
 * 4/6 z účastníků si neuvědomili, že by měli kliknout na tlačítko "Zobrazit editační tipy", aby zjistili, jak mohou založit nový článek. Zdá se, že lidé obvykle vnímají rozdíl mezi editací a vytvářením článku.
 * Všichni účastníci brali modul Začněte zde jako místo, kde by svou cestu Wikipedií měli začít. Většina z nich také pochopili, že tlačítko "Zobrazit editační tipy" je jejich cílem v této aktivitě.
 * Uživatelé pochopili a očekávali, že editační tipy, které jim systém vygeneruje, se budou týkat témat, které si vybrali.
 * Všichni byli schopní vybrat si témata podle jejich oblasti zájmu.
 * Všichni pochopili účel editačních tipů.
 * Dva účastníci předpokládali, že nemohou vytvořit článek do té doby, než dokončí snadné a středně obtížné úkoly.
 * 5/6 účastníků věděli, že by měli kliknout na panel Potřebuji pomoc, aby získali rady, jak pokračovat po otevření editoru.
 * Čtyři lidi očekávali, že panel Potřebuji pomoc jim umožní kontaktovat jejich mentora.
 * Několik účastníků postrádalo lepší vedení tipy.


 * Doporučení


 * Vylepšit Editační tipy tak, aby bylo zřejmé, že vytváření nového obsahu je forma editace.
 * Změnit modul Dopad vašich příspěvků tak, aby usnadňoval porozumění Editačním tipům
 * Poskytnout dobrou kontextovou nápovědu, která je pro lidi snažící se editovat důležitá.
 * Tipy v panelu Potřebuji pomoc by mohly zahrnovat "odškrtávací seznam", co by nováčci v článku měli zkontrolovat.
 * Poskytnout krátké příklady vhodných úprav.
 * Dát jasně najevo, že nováčci nemusí projít celý článek.
 * Filtrování v reálném čase usnadňuje uživatelům propojit si tipy s editováním článků, a povzbuzuje je k použití filtrování pro nalezení nejvhodnějších článků.

Mobil
Mezi 30. zářím a 6. říjnem jsme použili společnosti usertesting.com, abychom provedli šest testů mobilního prototypu Editačních tipů. Kompletní výsledky si můžete přečíst v tomto úkolu na Phabricatoru. Kromě cílů zmíněných v sekci pro počítač jsme také chtěli zjistit, v čem přesně by se mobilní rozhraní mělo lišit od rozhraní desktopového. Mobilní testeři chtěli přidat obrázek na Wikipedii, zatímco počítačoví testeři chtěli vytvořit celý článek.

Shrnutí poznatků


 * Modul Začněte zde byl všeobecně uživateli pochopen.
 * Přestože nebyl modul Editačních tipů vyloženě matoucí, nebyl ani místem, kde by účastníci očekávali pomoc s přidáváním obrázků.
 * Editační tipy byly intuitivní, a účastníci porozuměli, jak jeho jednotlivé části (filtrování, zobrazení více článků apod.) funguje. Někteří účastníci ale považovali modul za nudný či nepřinášející jim žádný užitek, kromě nových znalostí.
 * Několik lidí chtělo, aby témata byla více přesná, než široká témata, která jsou nabízená rozhraním.
 * Detailně popsané úrovně obtížnosti byly poučné, ale teoreticky to může některé lidi od Wikipedie odradit. Všichni účastníci byli překvapeni, že přidání obrázku je obtížným úkolem.
 * Filtrování pomocí oblastí zájmu je velmi důležité.
 * Tři účastníci až do konce testování očekávali, že systém vyžaduje dokončení jednoduchých úkolů před tím, než se budou moci pokusit o středně obtížné nebo obtížné úkoly.
 * Všichni pochopili cíl Editačních tipů jako něco, co jim doporučí editace, pomocí kterých se snadno naučí pracovat s Wikipedií, a také ocenili, že obsahoval i editace, které jsou těžší.
 * Všichni uživatelé měli problém s využitím rad, které byly obsažené v panelu Potřebuji pomoc. Nad touto oblastí se musíme zvláště zamyslet ještě před tím, než ji začneme programovat.

Doporučení


 * Call-to-action tlačítko spouštějící editační tipy by mělo být uvnitř modulu Začněte tady, ne ve své vlastní kartě.
 * Vylepšit formulace použité v rozhraní tak, aby bylo jasnější, že v dokončení editačních tipů se skrývá reálný užitek, kromě získání zkušeností, a že obtížnost tipů není závazná, a že uživatelé mohou na tipech pracovat v libovolném pořadí.
 * Personalizovat představení editačních tipů.
 * Filtrování výsledků by mělo fungovat v reálném čase.
 * Vyvinout podrobnější nastavování oblastí zájmů.
 * Při otevření editačního tipu znovu zmínit, že jde o reálnou editaci s reálným dopadem.
 * Změnit panel Potřebuji pomoc tak, aby byl veškerý obsah s nápovědou snadno a rychle dostupný.

Version 1.1: topic matching
Past research and development shows that users are more likely to do recommended tasks if the tasks match their topical interests. SuggestBot uses an editor's past editing history to find similar articles, and those intelligent results are shown in this paper to be executed on more often than random results. The Content Translation tool also recommends articles based on a user's previous translation history, and those recommendations have increased the translation volume.

In looking at the usage of V1.0 of newcomer tasks, which does not contain topic matching, we see that there are users who navigate through many suggested articles, and end up clicking on none. There are also users who navigate through many, and end up editing only the ones they happen to find that belong to a certain topic, such as medicine. These are also good indicators that topics can be valuable to help newcomers find articles they want to edit.

Our challenge with newcomers is a "cold start problem", in that newcomers do not have any edit history to use when trying to find relevant articles for them to edit. We want to have an algorithm that says what the topic is of each article, and use that to filter the articles that have maintenance templates.

Algorithms
There are multiple approaches with which we might find articles that match a user's stated topic of interest. While our team identified many, we built prototypes for three methods and tested them:


 * morelike: assign a seed list of articles that represent each topic area (e.g. "Art" might be represented by the articles for "Painting", "Sculpture", "Dance", and "Weaving".) Use that seed list to find other articles that are similar to those in the seed list by using a similarity algorithm called "morelike".
 * free text: instead of choosing from a set list of topics, allow newcomers to type in any phrase they want to indicate a topic. Use regular Wikipedia search to surface articles relevant to that phrase.
 * ORES: ORES is a machine learning service that can return a predicted topic for any article. Though it only works in English Wikipedia, there are ways to translate predictions from English to other wikis.

In this Phabricator task, we evaluated the three methods, and decided to proceed with the ORES model. The Growth team will work with the Scoring team to strengthen the model, and with the Search team to make the model predictions available to the newcomer tasks workflow. This work will take several weeks, and in the meantime, we will deploy with the somewhat worse-performing morelike algorithm, and switch to the ORES model about a month later.

Design
In designing interfaces that allow newcomers to choose topics of interest, these are some of the considerations:


 * How to make a long list of about 30 topics not overwhelming to the user?
 * How to handle multiple layers of topics (e.g. if "Science" has sub-topics of "Biology", "Chemistry", etc.)
 * Whether users can give feedback when a topic does not match what they selected?

These mockups contain our current designs for this interface. You can navigate with your keyboard's arrow keys. Below are some images of the mockups:

Version 1.2: guidance
After newcomers have selected an article from the suggested edits module, they should receive guidance about how to click edit and complete the edit successfully. While it is exciting that some portion of newcomers are completing suggested edits without guidance, we're confident that by adding guidance, we will substantially increase how many newcomers edit.

We have decided to repurpose the help panel as the place to deliver this guidance. Reusing the help panel will allow us to build quickly. The guidance contains three phases:


 * 1) When the user has arrived on the article and before they click edit.
 * 2) After clicking edit and before saving an edit.
 * 3) After saving an edit.

Some of the ideas we are considering implementing include:


 * Guidance tailored to each type of edit, varying depending on whether the suggested edit is a copyedit, adding links, adding references, etc.
 * Reminder that an edit can be small, and that the user does not have to edit the whole article.
 * Step-by-step walkthrough that is like a checklist for completing the edit.
 * Highlighting the maintenance templates in the article so that the user can see why the article was suggested.
 * An indicator that encourages the user to click the edit button.
 * A place to put videos that demonstrate how to complete the edit.
 * Suggestions for additional edits after saving the initial edit.
 * Ability for the user to notify their mentor that they have done an edit, so the mentor can check their work and thank them.

During the last week of December 2019, we user tested desktop and mobile prototypes, which can be found below. We will post the user test results after assembling them.


 * Desktop prototype
 * Mobile prototype

Below are some images of the prototype:

Variant testing
After deploying the first version of newcomer tasks, we want to start testing different variants of the feature, so that we can improve it iteratively. Rather than just having one design of newcomer tasks, and seeing if newcomers are more productive with it than without it, we plan to test more than variant of newcomer tasks at a time, and compare them. We have compiled an exhaustive list of all the ideas of variants to test -- but we will only end up testing perhaps 10 per year, because of the effort and time it takes to build, test, and analyze. Below are some of the most important ones variants to test.

Usage counts
As of 2020-01-13, 10,835 distinct users have visited their homepage since the deployment of newcomer tasks on 2019-11-20. The tables below show how far into the newcomer tasks workflow those users progressed. We see that generally one sixth of users who visit their homepage interact with the suggested edits module. Of those, most of them click a task. Most surprisingly, we see many users clicking on tasks and even going all the way through saving an edit (166 users saving about 400 edits). This is surprising because the feature does not yet contain topic matching (which would make the tasks more appealing to users) or guidance (which would help them understand how to save edits).

The second table shows percentages of the raw numbers in the first table.

Edit quality
The Growth team's ambassadors have gone through over 300 edits saved by newcomers and marked whether or not each edit was productive (meaning that it improved the article). We are happy to see that about 75% of the edits are productive. This is similar to the baseline rate for newcomer edits, and we're glad that this feature has not encouraged vandalism. Most of the edits are copyedits, with many also adding links, and some even adding content and references. About a third of users who make one suggested edits go on to make additional suggested edits, and many also go on to make edits that are not suggested by the feature, which is behavior we are happy to see.

The high-quality edits we're seeing encourage us to improve the feature so that more newcomers begin and complete its workflow.