Growth/Konstruktivní aktivační experimenty

Skupina:	Growth
Začal:	2024-07-01
Členové týmu:	Technický vedoucí: Sergio Gimeno Vývoj: Julieta Fernández Komunikace: Benoît Evellin
Historie změn:	Nevyřízené období Growth
Vedení:	Produktový manažerː Kirsten Stoller
Aktualizace:	Konstruktivní aktivační experimenty

This page is a translated version of the page Growth/Constructive activation experimentation and the translation is 100% complete.

V rámci Ročního plánu týmu Growth na rok 2024/2025 bude tým Growth zkoumat různé způsoby, jak zvýšit konstruktivní aktivaci na mobilních zařízeních.

Tato stránka projektu dokumentuje experimenty týmu Growth související s Ročním plánem Wikimedia Foundation 2024-2025, konkrétně s Klíčovým výsledkem Wiki Experiences 1.2.

Aktuální stav

června 2024 – plánování a sdílení počáteční hypotézy
září 2024 – uživatelské testování prototypů návrhů
listopadu 2024 – zahájení konzultace s komunitou s našimi pilotními wikinami
listopadu 2024 – zveřejnění A/B testu "Add a Link" (přidat odkaz) na anglické Wikipedii
prosince 2024 – provedení dočasného testu "Zobrazení strukturovaných úkolů" na pilotních wiki stránkách
února 2025 – vydání A/B testu "Zobrazování strukturovaných úkolů" na pilotních wiki stránkách
června 2025 – ukončení A/B testování "Zobrazování strukturovaných úkolů" na pilotních wiki stránkách
července 2025 – analýza experimentu publikovaná: Experiment s přidáním odkazu na Enwiki a Zobrazení funkce přidání odkazu v režimu čtení

Shrnutí

Současné celostránkové úpravy vyžadují pro mnoho nováčků příliš mnoho kontextu, trpělivosti a metody pokus-omyl, aby mohli konstruktivně přispět. Abychom podpořili novou generaci dobrovolníků, zvýšíme počet a dostupnost menších, strukturovaných a úkolově specifičtějších editačních pracovních postupů (např. Edit check a Strukturované úlohy ). Tým Growth se bude primárně zaměřovat na strukturované úkoly a zároveň úzce spolupracovat s Editing team , aby zajistil dobrou integraci naší práce s Edit Check.

Tento projekt si klade za cíl řešit následující problém uživatelů:

Začít s úpravami na Wikipedii je obtížné a obzvláště frustrující na mobilních zařízeních. Chci, aby editační rozhraní poskytovalo aktuální zásady a technické pokyny, které potřebuji, aby se mé počáteční úsilí nevracelo zpět.

Tento projekt si klade za cíl dosáhnout následujícího uživatelského výsledku:

Jako nový dobrovolník na Wikipedii se cítím sebejistě a nadšeně, že mohu přispívat k hnutí Wikimedia úpravou článků na Wikipedii. Poskytnuté nástroje mě krok za krokem vedou, omezují rušivé vlivy a umožňují mi postupně se učit, abych mohl úspěšně přispívat na svém mobilním zařízení.

Pozadí

Jak tato práce zapadá do ročního plánu Wikimedia Foundation?

Wiki Experiences 1: Zkušenosti s přispěvatelem Cíl

V rámci Cíle infrastruktury Wikimedia Foundation a v rámci skupiny cílů zaměřených na Wiki Experiences je i cíl související se zlepšením zkušeností přispěvatelů:

Wiki Experiences 1: Zkušenosti s přispěvatelem Cíl - Zkušení i noví přispěvatelé se online spojují, aby snáze a s menší frustrací vybudovali důvěryhodnou encyklopedii.

Klíčový výsledek Wiki Experiences 1.2

V rámci cíle Zkušenosti s přispěvateli je jedním z klíčových výsledků zaměřených na zvýšení konstruktivní aktivace nováčků na mobilních zařízeních:

Wiki Experiences 1.2 (WE1.2) Klíčový výsledek - Rozsáhlé nasazení intervencí prokazatelně způsobuje 10% relativní meziroční nárůst procenta nováčků, kteří publikují ≥1 konstruktivní úpravu v hlavním jmenném prostoru na mobilním zařízení, měřeno kontrolovanými experimenty.

Několik týmů Wikimedia Foundation se zavázalo pracovat na projektech v rámci klíčového výsledku WE1.2: Návrh hypotéz.

Hypotézy týmu Growth

Hypotéza týmu Growth	Časová osa	Hlavní úkol Phabricatoru
Wiki Experiences 1.2.3: Pokud provedeme uživatelské testy na dvou nebo více prototypech návrhů a představíme strukturované úkoly nováčkům v rámci vizuálního editoru nebo v jeho blízkosti, můžeme rychle zjistit, které návrhy budou pro nové editory fungovat nejlépe, a zároveň umožníme inženýrům posoudit technickou proveditelnost a odhadnout úsilí pro každý přístup.	července 2024 - září 2024	T362584
Wiki Experienced 1.2.6: Pokud v beta verzi zpřístupníme možnost reagovat na návrhy "Přidat odkaz" z článku na Wikipedii, připravíme půdu pro experiment na začátku třetího čtvrtletí, v jehož rámci se budeme snažit zvýšit procento nových držitelů účtů, kteří konstruktivně aktivují účty na mobilních zařízeních, o 10 % ve srovnání s výchozím stavem.	října 2024 - prosince 2024	T368187
Wiki Experiences 1.2.9: Pokud novým držitelům účtů, kteří čtou články na Wikipedii, nabídneme strukturovaný úkol 'Přidat odkaz' prostřednictvím A/B testu na pilotních wikinách, očekáváme, že se procento těchto lidí, kteří se konstruktivně aktivují na mobilních zařízeních, zvýší o 10 % ve srovnání s kontrolní skupinou.	ledna 2025 - března 2025	T385343
Wiki Experiences 1.2.11: Pokud zpřístupníme strukturovaný úkol "Přidat odkaz" alespoň 5 % nováčků na anglické Wikipedii, pak nováčci s přístupem k tomuto strukturovanému úkolu prokáží míru konstruktivní aktivace na mobilních zařízeních, která je o 10 % vyšší než základní úroveň, měřeno pomocí A/B testu.	ledna 2025 - března 2025	T382603
Wiki Experiences 1.2.16: Pokud dokončíme alespoň dvě vylepšení funkce "Přidat odkaz", o která komunity požadují, můžeme zvýšit procento nováčků na en.wiki, pro které je tento úkol k dispozici, což zvýší konstruktivní aktivaci na naší největší wiki.	dubna 2025 - června 2025	T389288
Wiki Experiences 1.2.17: *Pokud účtům s 0 úpravami do 24 hodin od vytvoření účtu zašleme podpůrné oznámení s doporučením navrhované úpravy, zvýšíme tím konstruktivní aktivaci. Oznámení Echo a e-mail, pokud je k účtu přiřazena e-mailová adresa.	května 2025 - července 2025	T392256

Jak definujeme konstruktivní aktivaci?

V rámci WE1.2 se zaměřujeme na zcela nové držitele účtů na mobilních zařízeních, takže konstruktivní aktivace je definována jako provedení alespoň jedné úpravy článku v hlavním jmenném prostoru projektu Wikipedie nováčkem na mobilním zařízení do 24 hodin od registrace na mobilním zařízení a tato úprava není vrácena zpět do 48 hodin od zveřejnění. Toto bude měřeno pro každou platformu (aktivaci mobilního webu a mobilních aplikací budeme měřit samostatně).

Jaký výzkum a data tyto experimenty podporují?

Tato práce se řídí následujícími pozorováními a souvisejícími daty a výzkumem: Většina nových držitelů účtů na Wikipedii nikdy nedokončí ani první úpravu.

Analýza experimentu s nově příchozími úlohami

Strukturované pracovní postupy zaměřené na konkrétní úkoly vedou k tomu, že více nováčků publikuje konstruktivní úpravy.

Strukturovaný výzkum úkolů – Přidat odkaz a Přidat obrázek
Výzkum diskusní stránky – nástroj Odpovědět (reply) & nástroj New Topic (nové téma)
Analýza experimentu s nově příchozími úlohami

Nováčci mají problém s vnímáním, pochopením a uplatňováním zásad, které utvářejí Wikipedii.

Na Wikipedii se registruje méně nových editorů.

Statistiky Wikimedia: Noví registrovaní uživatelé
Prozkoumejte pokles počtu nových editorů T351759

Většina zobrazení stránek Wikipedie je z mobilních zařízení.

Diskuse s komunitou

V rámci diskuse o OKR pro roční plán WMF Produkt a technologie jsme s komunitami prodiskutovali širší koncept tohoto projektu, shromáždili jsme zpětnou vazbu od účastníků Wikimanie a brzy zahájíme podrobnější konzultace s komunitou s našimi pilotními wiki (egyptská arabská, francouzská a španělská Wikipedie). (T372957)

Zobrazení strukturovaných úkolů (Wiki Experiences 1.2.3, 1.2.6 a 1.2.9)

Řešeno přes Phabricator
Úkol T362584

Prozkoumali jsme tři různé přístupy k prezentování strukturovaných úkolů a zvážili, které momenty během editačního procesu byly nejvhodnější pro představení návrhu na úpravu. Rozhodli jsme se otestovat a postupovat s dvěma přístupy během čtení (snímek obrazovky 1 a 2) a dalším během procesu editace, uvnitř vizuálního editoru (3).

(1)
(2)
(3)

Provedli jsme nemoderované uživatelské testy s účastníky, kteří byli obeznámeni s Wikipedií, ale měli omezené zkušenosti s její editací a přispíváním do ní. Hlavní cíle byly:

Zjistit, který ze tří návrhů byl pro uživatele nejslibnější,
Ověřit, zda je více či méně pravděpodobné, že uživatelé v budoucnu zváží úpravy, protože vědí, že je tento druh pomoci k dispozici, a
Uvědomit si, které možnosti textu nejlépe rezonují s účastníky.

Poznatky o uživatelském testování

Celkově byla myšlenka zobrazování návrhu na úpravu vedle/v rámci vizuálního editoru dobře přijata. Všichni účastníci (6/6) uvedli, že by pravděpodobně zvážili úpravy, protože by věděli, že tento druh pomoci je k dispozici, a že by se cítili motivováni k dokončení úprav. Co se týče různých přístupů, první přístup byl pro většinu účastníků nejslibnější (4/6).

"První zkušenost je lepší, poskytuje okamžitou pomoc s úpravami."

Objevilo se však mnoho otázek ohledně skutečného významu žlutého štítku. Účastníci předpokládali různé významy, například že štítek představuje nefunkční odkaz, robota nebo nedávno upravený text.

U druhého přístupu účastníci ocenili štítky obtížnosti + odhady času.

"Pokud to trvá jen 2 až 3 minuty, nic moc. Říká se, že je to snadné, a pak je pravděpodobnější, že to udělám."

Třetí přístup nebyl nijak zvlášť úspěšný, ale účastníci vyjádřili skvělou zpětnou vazbu.

"[Modální okno] mi nepřipadalo matoucí ani rušivé. Myslím, že to bylo vlastně povzbudivé."
"Měl bych sklon [k úpravám], zvláště pokud by se jednalo o situaci, kdy bych zapomněl, že upravuji, nebo jsem s úpravami ještě neskončil. Takže je to rozhodně dobrá připomínka."

"Spíše bych klikl na 'Pomozte přidat odkaz', protože si myslím, že by to skoro vyřešilo problém za mě a mám pocit, že jsem něčeho dosáhl."

Pokud jde o copy (kopie), představili jsme 4 možnosti a požádali účastníky, aby uvedli, která verze textu se jim zdála nejatraktivnější. Toto byly dvě nejúspěšnější možnosti, které byly popsány jako poutavé, stručné a zajímavé:

"Měl by být tento text propojen? Tento článek obsahuje jednoduchý návrh na úpravu pro přidání odkazů, který vás krok za krokem provede celým procesem. Chcete si ho prohlédnout?"
"Propojte znalosti: Propojte tento článek s ostatními a vylepšete informační síť Wikipedie."

Další kroky

Jelikož plánujeme dopředu, tyto testy nám pomohly pochopit a rozpoznat potenciální další vylepšení. Mezi ně patří například:

Opakování při kopii
Opětovné promyšlení žluté značky pro první přístup
Zvážení přidání štítků obtížnosti a odhadu času ke všem přístupům.

Návrh druhého opakování

Na základě poznatků z uživatelského testování jsme provedli cílené aktualizace původního designu. I když tato verze není finální, má sloužit jako funkční prototyp, který nám umožní vyhodnotit dopad funkce na konstruktivní aktivaci a udržení nováčků.

Pokud budou první výsledky slibné, plánujeme investovat do dalších vylepšení, včetně zjednodušené možnosti odhlášení a prozkoumání zjednodušených pracovních postupů, které nevyžadují spuštění plného rozhraní vizuálního editoru.

Měření a výsledky

Dočasný alfa test

V prosinci 2024 provedl tým Growth dočasný alfa test, aby rychle shromáždil data a posoudil, kolik nových držitelů účtů se v zobrazení pro čtení setká s úkoly „Přidat odkaz“. Test ukázal, že aktuální objem úkolů "Přidat odkaz" byl příliš nízký na to, aby podpořil statisticky významný experiment nebo vedl k smysluplnému zvýšení aktivace nováčků. Na základě těchto zjištění jsme před spuštěním pilotního experimentu upřednostnili následující vylepšení:

Vylepšení toku úkolů "Přidat odkaz": Abychom vylepšili uživatelský zážitek a řešili obavy hlídačů, aktualizujeme tok úkolů tak, aby se při zahájení úkolu ze zobrazení Čtení uživatel zobrazil pouze konkrétní odkaz, na který klepnul. (T381450). Hlídači si všimli, že když jsou některé odkazy v úpravě nesprávné, jejich oprava vyžaduje více úsilí než pouhé obnovení původní verze. Tato změna si také klade za cíl zmírnit tuto frustraci.
Návrhy na rozšíření odkazů Abychom měli k dispozici dostatek úkolů, výrazně zvyšujeme počet návrhů odkazů pro naše pilotní wikiny: Desetinásobně zvyšujeme minimální počet návrhů "Přidat odkaz" generovaných na wiki. (T383714). Pokud pro stránku nejsou k dispozici žádné návrhy odkazů, výsledek uložíme a článek nebudeme znovu zpracovávat, dokud jej znovu neupravíme. (T382270).
Rozšíření pilotního projektu na více wiki stránek: Abychom shromáždili dostatek dat pro smysluplnou analýzu, zahrnujeme do pilotního testu další wiki stránky. (T385343). Zatímco alfa test zahrnoval pouze španělskou Wikipedii, francouzskou Wikipedii a egyptskou arabskou Wikipedii, pilotní experiment Q3 bude zahrnovat další Wikipedie.
Rozšíření na počítače: Alfa test byl omezen na mobilní uživatele, ale pro vydání ve 3. čtvrtletí budeme zobrazovat návrhy "Přidat odkaz" i na počítačích. To nám pomůže dozvědět se více a zajistí, že se s touto funkcí bude zabývat širší okruh nováčků.

Pilotní experiment s vyobrazením strukturovaných úloh v režimu čtení

Tým Growth spustil A/B test, který zobrazoval úkoly "Přidat odkaz" v zobrazení pro čtení článku, ale pouze pro nováčky na pilotních wikinách (eswiki, frwiki, arzwiki, ptwikki, fawiki a idwiki).

Zobrazení výsledků experimentu v režimu čtení "Přidat odkaz" se strukturovanými úlohami

Přestože byly výsledky smíšené, nezaznamenali jsme statisticky významný rozdíl v konstruktivní aktivaci mezi kontrolní a léčebnou skupinou. Z toho vyplývá, že prezentace návrhů "Přidat odkaz" přihlášeným čtenářům způsobem, který neruší jejich práci, významně nezvyšuje pravděpodobnost, že noví držitelé účtů provedou první úpravu. Tento výsledek by však neměl být interpretován jako důkaz, že zviditelnění jednoduchých editačních úkolů je ze své podstaty neúčinné pro zlepšení aktivace nebo udržení nováčků.

Vzhledem k nedostatku měřitelného dopadu tým Growth tento experiment ukončí a nebude škálovat současnou implementaci na další wikiny. Místo toho uplatníme získané poznatky v budoucím designovém a experimentálním úsilí. Ačkoli tento zásah nedosáhl zamýšleného dopadu, nabídl cenné poznatky o relativně nové oblasti – proaktivním navrhování strukturovaných úkolů čtenářům – které budou ovlivňovat probíhající práci týmů pro růst i editaci na podpoře novějších editorů prostřednictvím strukturovaných editačních prostředí optimalizovaných pro mobilní zařízení.

Další poznatky z tohoto experimentu

Procesní učení: Funkce se dá rychle dostat k nováčkům, pokud je první verze alfa testovací a plánujeme ji vrátit zpět. To nám umožňuje učit se rychleji a zajišťuje, že vydání neodkládáme, dokud nebude funkce dostatečně vybroušená pro smysluplný A/B test.
Viditelnost na mobilních zařízeních. Přestože jsme nabízeli návrhy odkazů pro režim čtení, nemohli jsme zaručit, že mobilní editoři v léčebné skupině tohoto experimentu návrhy viděli. Protože sekce článků na mobilních zařízeních sbalují, musí uživatel mobilního webu pro zobrazení návrhu rozbalit sekci s návrhem odkazu a případně se posunout na obecné umístění daného návrhu (mít návrh odkazu viditelný v zobrazovací oblasti), pokud je sekce dlouhá. Pokud tedy nováček nikdy nerozbalil sekci obsahující návrh ani se neposunul do oblasti návrhu, kde to bylo nutné, návrh neviděl. Intervence tedy logicky neměla vliv na jeho aktivaci.
Články s vysokou návštěvností jen zřídka potřebují pomoc nováčků: Doporučení "Přidat odkaz" existují u článků, které jsou podprokazovány. Některé z nich mohou mít nižší počet zhlédnutí, být kratší a nebo méně rozvinuté články. Články s vysokou návštěvností jsou často vysoce kvalitní články nebo články týkající se kontroverzí či aktuálního dění (články, které jsou někdy chráněny před úpravami nově příchozími).
Jasnější signály: Je důležité poznamenat, že tento experiment záměrně upřednostňoval nerušivý uživatelský zážitek. Budoucí testy by mohly prozkoumat výraznější výzvy k akci nebo alternativní vzory UX. Lepších výsledků bychom mohli dosáhnout, pokud budoucí intervence budou používat jasnější nebo direktivnější rozhraní, jako je režim návrhů nebo viditelnější výzvu k akci.
Různé cílové skupiny: Mohli bychom iterovat na základě toho, co jsme se naučili, a otestovat podobný zásah s jinými cílovými skupinami. Například data z uvítacího průzkumu naznačují, že mnoho nově registrovaných uživatelů si vytváří účty s cílem vytvořit konkrétní úpravu nebo článek, což snižuje pravděpodobnost, že budou reagovat na návrhy, které neodpovídají jejich původnímu záměru.
Personalizace: Naše průzkumná analýza potvrdila, že modul domovské stránky i nadále poskytuje hodnotu nováčkům. Také jsme pozorovali předběžné důkazy, že návrhy na čtení a zobrazení mohou časem povzbuzovat k přispívání, zejména u účtů, které nenavštěvují domovskou stránku. Tato zjištění naznačují přítomnost odlišných archetypů nově příchozích s různým chováním. Je možné, že návrhy pro čtení a zobrazení jsou pro některé segmenty uživatelů účinnější než pro jiné.

Vylepšení A/B testu Enwiki a funkce "Přidat odkaz" (Wiki Experiences 1.2.11 a 1.2.16)

Řešeno přes Phabricator
Úkol T389018

Strukturovaný úkol „Přidat odkaz“ byl dříve testován na několika pilotních wikinách a konzistentně prokazoval nárůst účasti nováčků (viz experimenty 2021 a 2024 ). Výsledky se však mohou v jednotlivých wiki lišit a anglická Wikipedie je často odchylkou. Když jsme tuto funkci postupně rozšiřovali na anglickou Wikipedii, využili jsme této příležitosti k provedení přirozeného A/B testu, abychom vyhodnotili její dopad.

Cílem testu bylo zjistit, zda funkce "Přidat odkaz" zlepšuje konstruktivní aktivaci na anglické Wikipedii – konkrétně zda pomáhá více novým držitelům účtů dokončit první úpravu. A/B test potvrdil naši hypotézu: Úkol vedl k relativnímu nárůstu konstruktivní aktivace na mobilních i desktopových platformách. Protože tento experiment byl navržen na podporu klíčového výsledku Wiki Experiences 1.2 zaměřeného na mobilní zařízení, naše zpráva klade důraz na výsledky z mobilní webové platformy.

Analýza zjistila, že na mobilním webu úkol "Přidat odkaz" přinesl silné výsledky:

33,7 % nárůst míry konstruktivní aktivace
3,7 % nárůst míry konstruktivní retence
19,6 % pokles v míře vrácení změn

Nově zařazení do léčebné skupiny – ti, kteří měli přístup k funkci "Přidat odkaz" – vykazovali ve srovnání s kontrolní skupinou zlepšení ve všech třech metrikách.

Celá zpráva: Experiment s přidáním odkazu na anglické Wikipedii

Poučení

Vylepšená aktivace nováčků: Významné zisky, zejména na mobilních zařízeních, potvrzují efektivitu úkolu.
Strukturované úkoly jako "Přidat odkaz" mají obzvláště velký dopad na mobilních zařízeních.
Feature improvements and Community Configuration helped increase performance compared to the original pilot tests from 2021 .
Konfigurace komunity podporuje lokální kontrolu a pomáhá budovat podporu pro její přijetí, ačkoli v současné době postrádá možnosti postupného zavádění.
Zapojení komunity: Dobrovolníci poskytovali zásadní zpětnou vazbu a kontrolovali úpravy, čímž formovali vylepšení úkolu a jeho konfigurace. Na základě zpětné vazby od komunity jsme vydali dvě změny:
Řešeno přes Phabricator
Úkol T389288
- Omezení "Přidat odkaz" na novější účty: Tato změna umožňuje komunitám omezit úkol na novější uživatele, což řeší obavy zkušených uživatelů ohledně nováčků, kteří tento úkol používají k rychlému navyšování počtu úprav, nebo obecné obavy komunity z toho, že moderátoři jsou těmito úpravami zahlceni. (T393688) Viz "Přestat navrhovat úkoly "Přidat odkaz" na základě celkového počtu úprav nově příchozích" na související konfigurační stránce vaší domovské Wikipedie: Special:CommunityConfiguration/GrowthSuggestedEdits
- Odstranění problematických návrhů odkazů: Toto řeší klíčovou stížnost na anglickou Wikipedii a zajistí, že návrhy odkazů budou více odpovídat stylistické příručce enwiki. (T386867) Na anglické Wikipedii se již nenavrhují názvy kontinentů a zemí. Související diskusní vlákno.

Další kroky:

Sdílejte svá zjištění s hnutím (T390613) a na Wikimanii 2025.
Spolupracujte s oddělením Machine Learning (strojového učení) a výzkumu na vylepšení modelu „Přidat odkaz“ a zajistěte, aby modely mohly být pravidelně přetrénovány. (T388258).

Oznámení o zahájení (Wiki Experiences 1.2.17)

Řešeno přes Phabricator
Úkol T392256

Příběh uživatele: Jako nováček chci dostávat včasné a poutavé oznámení, které mě nasměruje k mé první úpravě, abych rychle pochopil, co dělat dál, a cítil se povzbuzen k přispívání. Pokud dostanu jasné pokyny ve správný okamžik, budu mít větší pravděpodobnost, že udělám svůj první editační krok a budu pokračovat v účasti na Wikipedii.

Předpoklady: Pokud nové účty, které dosud neprovedly úpravy, obdrží do 24 hodin od vytvoření účtu podpůrné oznámení* s doporučením navrhované úpravy, bude pravděpodobnější, že se konstruktivně aktivují. *Oznámení Echo a e-mail, pokud má účet potvrzenou e-mailovou adresu.

Pozadí a výzkum:

Již bylo prokázáno, že oznámení "Get Started" (začínáme) při odeslání 48 hodin po vytvoření účtu zvyšuje počet úprav nováčků. (1). To naznačuje, že dobře načasované intervence mohou pozitivně ovlivnit aktivaci nově příchozích. Dřívějším odesláním oznámení můžeme dále zlepšit míru aktivace tím, že oslovíme uživatele, dokud je jejich zájem stále vysoký.
Předchozí studie ukazují, že pozitivní posilování, jako je funkce "Thanks" (poděkování), vede ke zvýšené angažovanosti editorů (2). To naznačuje, že oznámení formulovaná jako povzbuzení spíše než jen jako pokyny mohou přinést lepší výsledky.