Growth/Positive reinforcement/uk

Ця сторінка описує роботу над «позитивним підкріпленням» як частиною набору функцій Зростання. На цій сторінці подано основні активи, дизайни, відкриті запитання і рішення.

Більшість поступових змін буде публікуватися на загальній сторінці оновлень Команди зростання, а деякі великі або детальні оновлення публікуватимуться тут.



Поточний стан

 * 2021-03-01: створено сторінку проєкту
 * 2022-02-25: проєкт розпочато обговореннями в команді
 * 2022-03-01: розширено сторінку проєкту
 * 2022-05-11: обговорення спільнотою
 * 2022-08-12: завершено тестування користувачами
 * Next: починається подальша розробка дизайну та інженерна робота над покращеннями модуля впливу

Короткий опис
Команда Зростання зосереджується на розбудові «єднального досвіду новачка», що дає новачкам потрібний їм доступ до елементів, що допомагають їм долучитися до практичної спільноти Вікіпедії. Наприклад, через завдання новачка ми дали їм доступ до можливостей взяти участь, а через модуль наставництва ми дали їм доступ до наставництва. Пропоновані редагування змогли залучити більше новачків до їхніх перших редагувань. Маючи цей успіх, ми хочемо активно заохотити новачків продовжувати робити редагування. Це звертає нашу увагу на нерозвинений елемент, до якого новачка потрібен доступ: оцінка роботи. Ми називаємо цей проєкт «позитивним підкріпленням».

Ми хочемо, щоб новачки розуміли, що постійний внесок у Вікіпедію має прогрес і цінність — там ми покращимо утримання тих користувачів, що вже зробили перший крок, зробили редагування.

Наше велике питання таке: Як ми могли б заохотити новачків, які відвідали нашу домашню сторінку і спробували наші функції, до продовження редагування і надати їм імпульсу?

Передумови
Коли у 2019 році була запроваджена домашня сторінка новачка, вона містила базовий «модуль впливу», де показувалася кількість переглядів сторінок, які редагував новачок. Це єдина частина функцій Зростання, яка давала новачку відчуття свого впливу, і ми не покращували її з час впровадження. Маючи це за точку відліку, ми зібрали деякі важливі моменти щодо позитивного підкріплення:


 * Ми почули добрі відгуки від членів спільноти про модуль, у яких досвідчені редактори говорили, що він цікавий і цінний для них.
 * Показано, що висока оцінка від інших користувачів підвищує утримання, наприклад, у випадку «подяк» (тут і тут) та в експерименті у німецькій Вікіпедії. Ми вважаємо, що такі підкріплення від живих людей були б більш ефективними, ніж автоматичні від системи.
 * Члени спільноти пояснили, що високопріоритетним для новачків є перехід від простих завдань до більш цінних, замість того, щоб застрягати на простому виконанні простих завдань.
 * Інші платформи, такі як Google, Duolingo та Github, використовують численні механізми позитивного підкріплення, як то значки і цілі.
 * Спільноти із пересторогою ставляться до заохочення нездорових редагувань. Ми вже бачили, що коли конкурси статей пропонують цінні призи або коли корисні ролі на зразок «автопідтвердженого» залежать від кількості редагувань, це може заохотити людей робити більше проблемних редагувань.



Особистість користувача
Є багато моментів шляху новачка, у яких ми могли б спробувати підвищити утримання. Ми могли б зосередитися на новачках, які припинили редагувати після всього одного чи кількох редагувань, або ж ми могли б зосередитися на пізнішій точці — новачках, які припинили редагувати після кількох тижнів активності. Для цього проєкту ми вирішили зосередитися на тих новачках, які завершили свою першу сесію редагування, і ми б хотіли, щоб вони повернулися для другої. На діаграмі вони позначені жовтою зірочкою.

На цьому етапі ми хочемо зосередитися на новачках, оскільки це наступний з етапів, на якому ми б хотіли покращити утримання. Також ми бачимо тут зараз значний рівень відтоку, тож якщо ми зможемо утримувати новачків на цьому етапі, то це матиме відчутний вплив на зростання редакторів з часом.



Дослідження і дизайн
Було проведене дослідження різних механізмів, які використовуються для заохочення людей робити внесок у вікі й поза вікі. Нижче подано деякі ключові висновки з дослідження: Переглянути огляд поточних ідей дизайну для позитивного підкріплення можна у цьому дизайновому брифі. Наші доробки будуть розвиватися далі з врахуванням відгуків від спільноти та кількох раундів тестування користувачами.
 * Мотивація редакторів Вікіпедії багатогранна і змінюється з часом і набуттям досвіду. Новими редакторами часто більше керує цікавість та соціальний зв'язок, ніж ідеологія.
 * Внутрішні проєкти зосереджуються на глибинних спонуках, апелюють до альтруїстичних мотивів і не застосовуються систематично.
 * Розширення заохочень за межі ідеологічних мотивів може покращити різноманіття редакторів, які залишаються у Вікіпедії.
 * Відомо, що позитивні повідомлення від досвідчених редакторів та наставників ефективні для короткотермінового утримання.

Ідеї
У нас є три головні ідеї для позитивного підкріплення. Ми можемо розробляти кілька ідей у процесі роботи над цим проєктом.

Вплив

 * Вплив: ревізія модуля впливу із вмонтуванням в нього статистики, графіків та іншої інформації про внесок. Перероблений модуль впливу даватиме новим редакторам більше контексту щодо їхнього впливу, а також заохочуватиме їх продовжувати робити внесок. Серед сфер дослідження такі:
 * Віха пропонованих редагувань, щоб підштовхнути користувачів спробувати пропоновані редагування.
 * Статистика редагувань за весь час (подібно до X Tools).
 * Число «отриманих подяк», щоб підкреслити можливість отримувати визнання від спільноти.
 * Недавня активність редагування — включно з кількістю днів, коли новачки редагували підряд («серії»), для заохочення тривалого залучення або нагадування почати робити внесок знову.
 * Кількість переглядів статей, які новачки редагували за увесь час (подібно до Вікіпедія:Статистика відвідувань статей).



Підвищення рівня

 * Підвищення рівня: для спільнот важливо, щоб новачки прогресували й переходили до цінніших завдань. Ми б хотіли підштовхнути тих, хто робить багато легких завдань, до того, щоб вони спробували важчі. Це може відбуватися після виконання ними певної кількості легких завдань або через заохочення на домашній сторінці. Серед сфер дослідження такі:
 * Новачок бачитиме повідомлення про успіх після редагування, що мотивуватиме їх робити більше редагувань на тому ж чи інших рівнях складності.
 * У модулі пропонованих редагувань надавати можливості робити складніші редагування, щоб новачки ставали більш вмілими редакторами.
 * У модулі впливу включити лічильник віх чи місце для нагород.
 * На домашній сторінці додати новий модуль із заданими викликами, за які можна отримати нагороду (значок/сертифікат).
 * Додати сповіщення, які пропонуватимуть новачкам спробувати складніше завдання.



Персоналізована похвала

 * Персоналізована похвала: дослідження показує, що похвала й заохочення від інших користувачів підвищує утримання новачків. Ми хочемо обдумати, як можна заохотити досвідчених користувачів дякувати й нагороджувати новачків за добрий внесок. Можливо, можна заохотити наставників до цього з їхньої панелі наставника або через сповіщення. Ми можемо використати наявні механізми комунікації, які, за даними попередніх досліджень, мали певний позитивний ефект. Серед сфер дослідження такі:
 * Особисте повідомлення від наставника новачка, що з'являється на домашній сторінці.
 * Сповіщення від наставника чи Команди Зростання.
 * «Подяка» за конкретне редагування.
 * Новий значок, яким нагороджує наставник чи Команда Зростання, що стосується певного редагування, певної віхи.



Обговорення спільнотою
We discussed the Positive Reinforcement project with community members from ar:ويكيبيديا:مشروع فريق النمو (التعزيز الإيجابي)bn:উইকিপিডিয়া:আলোচনাসভাcs:Diskuse k Wikipedii:Zkušenosti nových wikipedistů/Pozitivní posílenífr:Discussion Projet:Aide et accueil/Volontaires, and here on mediawiki.org.

We received direct feedback about the three main ideas, along with many other ideas for improving new editor retention.

Below is a summary of the main themes from the feedback, along with how we plan to iterate based on the feedback.

Other ideas:
Community members suggested several other ideas for improving newcomer engagement and retention. We think these are all valuable ideas (some of which we are already exploring or want to work on in the future) but the following ideas won't fit within the scope of the current project:
 * Send newcomers onboarding and welcome emails (the Growth team is actually currently exploring engagement emails in collaboration with the Marketing and the Fundraising teams).
 * Expose newcomers to Wikiprojects that relate to their interests.
 * Include a customizable widget on the newcomer homepage to allow wikis to promote certain newcomer tasks or events.
 * Send notifications to users who welcome newcomers once the newcomer reaches certain editing milestones (to help prompt the user to offer Thanks or Wikilove).



Тестування користувачами
Поруч з обговоренням спільнотою ми хотіли отримати схвалення і доповнення до наших початкових варіантів дизайну і гіпотез, провівши тестування дизайну читачами й редакторами з кількох країн. Тож наша команда роботи над дизайном провела користувацьке дослідження позитивного підкріплення, спрямоване на те, щоб краще розуміти вплив проєкту на внесок новачків кількома різними мовами.

We tested several static Positive Reinforcement designs with Wikipedia readers and editors in Arabic, Spanish, and English. Along with testing Positive Reinforcement designs we introduced data visualizations from xtools as a way to better understand how these data visualizations are perceived by newcomers.



User testing results

 * Make impact data actionable: Impact data was a compelling feature for participants with more experience editing, which several related to their interest in data—an unsurprising quality for a Wikipedian. For those new to editing, impact data, beyond views and basic editing activity, may be more compelling if linked to goal-setting and optimizing impact.
 * Evaluate the ideal editing interval: Across features, daily intervals seemed likely to be overly ambitious for new and casual editors. Participants also reflected on ignoring similar mechanisms on other platforms when they were unrealistic. Consider consulting usage analytics to identify “natural” intervals for new and casual editors to make goals more attainable.
 * Ensure credibility of assessments: Novice editor participants were interested in the assurance of their skills and progress the quality score, article assessment, and badges offer. Some hoped that badges could lend credibility to their work reviewed by more experienced editors. With that potential, it could be valuable to evaluate that the assessments are meaningful measures of skill and further explore how best to leverage them to garner community trust of newcomers.
 * Reward quality and collaboration over quantity: Both editor and reader participants from esWiki were more interested in recognition of their knowledge or expertise (quality) than the number of edits they have made (quantity). Similarly, some Arabic and English editors are motivated by their professional interests and skill development to edit. Orienting goals and rewards to other indicators of skilled edits, such as adding references or topical contributions, and collaboration or community involvement may also help mitigate concerns about competition overtaking collaboration.
 * Prioritize human recognition: While scores and badges via Growth tasks is potentially valued, recognition from other editors appears to be more motivational. Features which promote giving, receiving, and revisiting thanks seemed most compelling, and editors may benefit from selecting impact data which demonstrates engagement with readers or editors most compelling to them.
 * Experiment with playfulness of designs: While some positive reinforcement features can be seen as the product of “gamification”, some participants (primarily from EsWiki) felt that simple, fun designs were overly childish or playful for the seriousness of Wikipedia. Consider experimenting with visual designs that vary in levels of playfulness to evaluate broader reactions to “fun” on Wikipedia.

Design


Below are the current designs for Positive Reinforcement. We have refined the three main ideas outlined above, but the scope of plans and the actual designs have evolved based on feedback from community discussions and user testing.

Impact
Phabricator epic: T222310

The revised impact module provides new editors with more context about their impact. The new design includes far more personalized info and data visualizations than the previous design. This new design is fairly similar to when discussing this feature with communities. You can view the current engineering progress at beta wiki, and we hope to release this feature to Growth pilot wikis soon.

Leveling up
Phabricator epic: T317813

The Leveling up features focus on encouraging newcomers to progress to more valuable tasks. Ideas also include some prompts for new editors to try suggested edits, since structured tasks have been shown to improve newcomer activation and retention.


 * “Level up” post-edit dialog message: A new post-edit dialog message type is added to encourage newcomers to try a new task type. We hope this will encourage some users to learn new editing skills as they progress to different, more challenging tasks.
 * Post-edit dialog for non-suggested edits: Introduce newcomers who complete ‘normal’ edits to suggested edits. We plan to experiment by showing newcomers a prompt post 3rd and 7th edit. Desktop users who click through to try a suggested edit will also see their Impact module, which we hope helps engage newcomers and provides a small degree of automated positive reinforcement. We will carefully measure this experiment, and ensure there aren't any unintentional negative effects.
 * New notifications: New echo notifications to encourage newcomers to start or continue suggested edits. This acts as a proxy to “win-back” emails for those who have an email address and settings on to receive email notifications.

Personalized praise
Phabricator epic: T317817

Personalized praise features are based on research results that show that encouragement and thanks from other users increases editor retention.


 * Encouragement from Mentors: We will add a new module to the Mentor dashboard, that is designed to encourage Mentors to send personalized messages to newcomers who meet certain criteria. We will allow Mentors to customize and control how and when "praise-worthy" mentees are surfaced.
 * Increasing Thanks across the wiki: We plan to fulfill the community wishlist item to Enable Thanks Button by default in Watchlists and Recent Changes. We hope this will increase Thanks and positivity across the wikis, and hopefully newcomers will benefit from this directly or indirectly.



Вимірювання й результати
Коли обговорення спільнотою буде завершене, дизайни відточені, а розробка й тестування виконані, наш спеціаліст з даних буде моніторити вплив проєкту позитивного підкріплення. Ми поділимося початковим планом вимірювання й пізнішими результатами тут.