Growth/Personalized first day/Structured tasks/cs

Tato stránka popisuje práci týmu Growth na projektu strukturovaná editace. Tento projekt souvisí s dalšími projekty týmu Growth: Editačními tipy a Domovskou stránkou. Tato stránka obsahuje nejdůležitější informace, otevřené otázky a rozhodnutí. Více novinek týkající se práce týmu Growth najdete na všeobecné stránce s aktualizacemi. Závažné a větší aktuality budou pak vloženy i sem.

This page is about the general "structured task" concept, with some discussion of specific task types that we could build. Following this general discussion, the team began designing and engineering on those specific task types. Those task types have their own project pages, where most new information is being posted :


 * Add a link
 * Add an image

Současný stav

 * 2020-05-01: plánování a sepisování postřehů
 * 2020-05-17: begin community discussion
 * 2020-05-29: initial wireframes
 * 2020-08-24: week of planning meetings
 * 2020-09-08: call for community discussion on latest designs
 * 2020-10-21: user testing of desktop designs
 * 2021-05-27: We deployed the "add a link" feature to our four pilot Wikipedias (Arabic, Czech, Vietnamese, Bengali).

Shrnutí
V listopadu 2019 tým Growth spustil "Editační tipy", čímž nováčkům ukázal na články, které by mohli editovat, na jejich Domovské stránce. V dubnu 2020 byly tyto články generovány pouze na základě údržbových šablon vložených zkušenými editory, což nováčkům neumožňuje přesně určit, jaké sekce, slova či sekce potřebují jejich pozornost. I přes to ale nadšeně pozorujeme, že nováčci produktivně editují.

Ačkoliv údržbové šablony poskytují nováčkům velké množství různých tipů, kterým by se mohli věnovat, jsou velmi obsáhlé, aby s nimi nováčci snadno uspěli. Na mobilních zařízeních je navíc velmi těžké používat jakýkoli editor - ať už vizuální nebo wikitextový.

Z tohoto důvodu jsme se rozhodli experimentovat s nápadem "strukturované editace". To znamená, že rozebereme každý editory používaný postup na jednotlivé kroky, které jsou pro nováčky snadno uchopitelné. Podle výsledků jazykového týmu a týmu pro Androidovou aplikaci soudíme, že to pomůže nováčkům snadno udělat více editací a to i na mobilu. Tato strukturovaná editace bude dostupná nováčkům jako součást editačních tipů.

Editování je komplikované
Podle naší předchozí práce soudíme, že první okamžiky nováčka rozhodují o tom, zda na projektu zůstane, či nikoliv. Věříme, že nováčci zůstávají, pokud dokážou rychle něco změnit a mít tak pozitivní zážitek. Bohužel, editování Wikipedie – téměř jakýkoliv typ příspěvku – je obtížné, což znesnadňuje úspěch. Například, pokud chcete přidat do článku jedinou větu, musíte provést zhruba tucet kroků:


 * 1) Nalézt správný článek.
 * 2) Zjistit, zda náhodou tato informace již v článku není.
 * 3) Vybrat sekci, do které větu přidáte.
 * 4) Kliknout na tlačítko Editovat.
 * 5) Vložit větu na správné místo.
 * 6) Kliknout na tlačítko Citace.
 * 7) Vrátit se na zdroj informace a zkopírovat si odkaz či získat informace o citaci.
 * 8) Vyplnit a uložit citační formulář.
 * 9) Kliknout na tlačítko Zveřejnit změny.
 * 10) Vyplnit shrnutí editace.
 * 11) Zveřejnit.

Nováčci, kteří vidí editor poprvé v životě, neví, jaké tyto kroky jsou, v jakém pořadí by je měli dělat a jaká tlačítka mají přesně stisknout. Jinými slovy, jejich zážitek není strukturován. Nováček se může cítit přetížen a odejde. Nebo využije metody pokus-omyl, což má často za následek negativní zpětnou vazbu od dalších, zkušenějších, wikipedistů, což nováčka rovněž může odradit. A o tom je tento projekt: Jak pomoci nováčkům dělat správné kroky ve správném pořadí?

Založeno na znalosti dalších týmů
Přidávání struktury do editačních postupů je již dlouhou dobu tradiční součástí kultury Wikimedia. Některé příklady:


 * HotCat: umožňuje uživatelům vybrat, které kategorie přidat na pár kliknutí, namísto manuální editace wikitextu.
 * Commons Upload Wizard: breaks the process of uploading media to Commons into a series of a simple steps.
 * Citoid: available in the Visual Editor, this breaks down the process of adding a citation into steps that include algorithms to automatically produce the citation text and template.

Most recently, the idea of "structured tasks" has been working well on the Wikipedia Android app and in the Content Translation tool. We're inspired by their work.

With their "suggested edits" project, the Android team broke down the process of adding a title description to a Wikipedia article into one easy step of typing into a text box. They have since done the same with translating title descriptions across languages. In order to do the same tasks without a structured workflow, users would have to go to Wikidata and go through several steps to make those same edits. The team learned that this method works: many Android users make hundreds of these small contributions.

The Language team built the Content Translation tool, which does several things to structure the process of translating an article. It offers a side-by-side interface built for translations, it breaks the translation down into sections, and it automatically applies machine translation algorithms. Though Wikipedians could translate articles before the existence of the tool, the number of manual steps required made it very difficult. This tool is successful, with hundreds of thousands of translations completed. We learned that when translating an article is broken down into steps, with rote parts (e.g. running machine translation) taken care of automatically, more articles get translated.

The Growth team is thinking about applying these same principles to content edits in articles, like adding links, adding images, adding references, and adding sentences.

Návrh, jak by strukturované editace mohly vypadat
Nejlepším způsobem, jak ukázat, co tímto projektem máme na mysli, je ukázání rychlého grafického návrhu. První ze strukturovaných editací, o které jsme přemýšleli, je "přidat (wiki)odkaz". Tatáž myšlenka se ale dá aplikovat i na "přidání obrázku", "přidání reference" nebo dokonce i "přidání informace".

V editačních tipech je k dispozici úkol "přidání (wiki)odkazu" – v rámci něj mají do článku přidat modrý vnitřní odkaz. To by mělo být jednoduché. Myslíme si, že nováčci nerozumí tomu, v jakém pořadí mají provést jednotlivé kroky vedoucí k přidání odkazu nebo nemusí vědět, jaká slova by měly být odkazem. Představujeme si rozhraní, které nováčky krok za krokem provede přidáním odkazu za pomoc algoritmu, který doporučí slova či fráze, která by měla být odkazem.

V návrhu níže vidíte nováčka, který si otevře článek k editaci a systém mu nabídne slovo, které by mohlo být dobrým (wiki)odkazem. Pokud souhlasí s tím, že by měl být vytvořen odkaz, systém je provede kroky pro vytvoření odkazu. Doufejme, že je to v budoucnu naučí přidávat odkazy samostatně – a možná se jim zalíbí i možnost nadále vyhodnocovat automatické návrhy na vložení odkazů. Pokud jde o algoritmus, tým výzkumníků WMF na toto téma napsal předběžnou práci, díky níž jsme si jisti, že takový algoritmus je možné vytvořit.



Jak jsme o tomto nápadu dále přemýšleli, napadlo nás to vzít za jiný konec. Namísto učení nováčků, jak se ve vizuálním editoru přidávají odkazy, můžeme nováčkům předložit snadno použitelný nástroj, pomocí kterého nováčci pouze potvrdí či zamítnou návrhy předložené algoritmem a systém uloží editaci za ně. I když je to nenaučí, jak přidávat odkazy pomocí editoru, může to nováčkovi pomoci při velkém objemu úprav a může to být vhodnější pro uživatele, kteří chtějí pokračovat s jednoduchými úkoly. Může to také být dobré pro uživatele, kteří chtějí udělat pouze pár rychlých editací, podobně, jako má aplikace Androidu velké množství uživatelů, kteří chtějí pouze opravovat popisky článků.



Jak jsme o strukturovaných editacích dále přemýšleli, uvědomili jsme si, že stojíme před velkou otázkou: Měl by se náš produkt zaměřit na použití tradičních nástrojů, nebo by měl umožnit nováčkům rychle uložit větší množství editací?

Why this idea is prioritized
Myslíme si, že možnost rychle uložit produktivní editaci pomáhá nováčkům k úspěchu. Jakmile mají za sebou pár editací, zbytek z wiki-dovedností přichází snáze. Nováčci mohou snadno vidět dopad jejich editací. Dostanou poděkování. Ptají se informovaně na otázky. Vytvoří si uživatelskou stránku apod. Proto chceme, aby většina nováčků rychle uložila nějakou editaci. Z projektu Editačních tipů je zřejmé, že nováčci hledají jednoduché úkoly, na kterých by mohli pracovat. Zároveň jsme ale pozorovali následující:


 * Pouze 25 % nováčků skutečně edituje článek, co si vybrali
 * Pouze 25 % z těch, kdo editují, jdou i na další článek
 * Je zde i pár nováčků, kteří jsou pro Editační tipy nadšeny - a každý den splní několik z nich. To umožňuje nováčkům udělat hodně wiki-práce.
 * Během testování s uživateli jsme si všimli, že nováčky často zajímá, co konkrétně by měli v článku změnit. Jinými slovy, editování celého článku je příliš otevřeným úkolem.

Taking these points along with the experiences described above of the Android and Content Translation teams, we think we could increase the number of newcomers editing and continuing to edit by structuring some of the content editing workflows in Wikipedia.

Příležitosti pro strukturované editace
When we break down editing workflows into steps, we call them "structured tasks". Here are some of the possible benefits we think could come from structured tasks:


 * Make it easy for newcomers to make meaningful contributions.
 * Develop editing workflows that make sense for mobile. Mobile design principles tell us that users should see one step at a time, not a complicated workspace.
 * Let newcomers increase their skills incrementally. They could take on successfully more challenging types of tasks.
 * Let people find an editing experience that fits them. By giving newcomers a feed of structured tasks, they could find the type of tasks that they prefer.
 * Perhaps similar workflows could be opened to experienced editors in the future.

Concerns and downsides to structured tasks
Whenever we add new ways for people to edit Wikipedia, there are many things that can go wrong:


 * By making editing too quick and easy, we may attract vandals, or users who don't apply enough care when editing.
 * Giving newcomers simple workflows may keep them from learning the traditional editing tools, which are essential for doing the most impactful wiki work.
 * Structured tasks may not be good at accounting for differences across languages, idiosyncrasies with wikitext, and could cause other kinds of bugs.
 * Algorithms that surface structured tasks may not be accurate enough, and falsely encourage newcomers to complete edits they shouldn't.

Community discussion
In May 2020, we conducted discussions with community members in six languages (English, French, Korean, Arabic, Vietnamese, Czech) about the above ideas for structured tasks. The English discussion mostly took place on the discussion page here, with other conversations on English Wikipedia, and local language conversations on the other five Wikipedias. We heard from 35 community members, and this section summarizes some of the most popular and interesting thoughts. These discussions heavily influenced our next set of designs.


 * Community members were generally positive about the potential for structured tasks to help newcomers start editing. But it was also a widely expressed view that it's important for newcomers to be introduced to the conventional source and visual editors during the process.  Community members want to make sure that newcomers are not siloed in a separate editing experience, and that they can find their way to more valuable edits.
 * The Czech community talked about ideas for how the structured tasks can place inside the visual editor, so that newcomers can start getting used to being in the editor. Perhaps the editing tools that are not needed for the structured task can be grayed-out.
 * Community members asked why we are choosing "add a link" as our first structured task, as opposed to higher-value types of edits. We talked about how this task is one of the easiest for us to build, which will help us prototype and learn from structured tasks sooner, and how it is a comparatively low-risk task, with fewer opportunities for newcomers to damage articles.
 * Several communities mentioned that spelling corrections would be a particularly valuable task, and we talked about technical options for how to generate lists of potential spelling mistakes. See these notes for more details.
 * We also talked about whether reverting vandalism is a good fit for newcomers. It doesn't seem like the answer is clear, and this will have to be discussed more in the future.
 * An idea that was mentioned multiple times is how to "step newcomers up" to progressively more challenging tasks, perhaps while giving them rewards for successfully completing easier ones.

Types of tasks
There are many different editing workflows that have the potential to become structured. We began to list workflows when we first designed the newcomer tasks workflow here, and we have since narrowed down to a shorter list of task types that seem best suited to being structured. The table below contains that short list, ranked in a potential priority order.

Prioritizing "add a link"
The Growth team currently (May 2020) wants to prioritize the "add a link" workflow over the other ones listed in the table above. Although other workflows, such as "copyedit", seem to be more valuable, there are a set of reasons we would want to start first with "add a link":


 * In the near term, the most important thing we would want to do first is to prove the concept that "structured tasks" can work. Therefore, we would want to build the simplest one, so that we can deploy to users and gain learnings, without having to invest too much in the first version. If the first version goes well, then we would have the confidence to invest in types of tasks that are more difficult to build.
 * "Add a link" seems to be the simplest for us to build because there already exists an algorithm built by the WMF Research team that seems to do a good job of suggesting wikilinks (see the Algorithm section).
 * Adding a wikilink doesn't usually require the newcomer to type anything of their own, which we think will make it particularly simple for us to design and build -- and for the newcomer to accomplish.
 * Adding a wikilink seems to be a low-risk edit. In other words, the content of an article can't be as compromised through adding links incorrectly as it could through adding references or images incorrectly.

Notes on "copyedit"
In conversations with community members on this project's discussion page, many people brought up the question of how to make a structured task around copyediting. Correcting spelling, grammar, punctuation, and tone seemed to everyone to be a clearly useful task that should be prioritized. The Growth team initially shied away from this workflow because of scaling concerns: even if we were able to find or develop an algorithm that could reliably find copyedits in one language, would we be able to do that in dozens of other languages?

We began to learn more about this by talking with User:Beland, who developed the "moss" script for English Wikipedia's Typo Team. We wanted to understand how the process works, and what it might look like to do something similar in other languages. In short, it sounds like the most promising avenue is through existing open-source spellcheckers and dictionaries. Two examples are the aspell and hunspell libraries. Below are our notes from learning about "moss" with User:Beland.


 * Prospects for doing something similar in other languages
 * A process like this should theoretically work in other languages, given that other languages also have Wiktionaries and open-source spellcheckers.
 * But it would not be possible to deploy in a new language without native speakers validating it. There would likely need to be customization for many languages.
 * Likely more challenges for languages without word segmentation (e.g. Japanese).
 * Likely more challenges for agglutinative languages.
 * Different projects have differing manuals of style, which may cause issues.
 * If an algorithm is performing poorly, it should always be possible to change its thresholds so that it identifies fewer potential errors, but with higher confidence.
 * How does moss work?
 * Download the dump files of all of English Wikipedia every two weeks.
 * In order to cut down on false positives, remove templates and everything inside quotation marks, etc.  Only want to work on the main text in the article: the things written “in Wikipedia’s voice”.
 * Check that every word is in English Wiktionary.
 * Uses Python NLTK (natural language toolkit) for word segmentation.
 * Looks at edit distance to classify misspellings.  e.g. “T1” is one edit distance (95% precision).  Also classifies “TS” whitespace errors.
 * Also includes an English open-source spellchecker to narrow the search space so that the algorithm can run faster.
 * He has also started trying to add grammar rules (e.g. identifying passive voice), but that’s more experimental, and much more difficult than spelling.
 * At the end of the process, it produces a list of articles and likely typos.  The user opens the article and searches for the likely typo.

Many copyedit requests are also editors whose native language is not English, asking for English polishing. See WikiProject Guild of Copy Editors.