Growth/Positive reinforcement/ar

تصف هذه الصفحة العمل على «التعزيز الإيجابي» كجزء من حُزْمَة مزايا فريق النموّ. تحتوي هذه الصفحة على الموجود والتصاميم والأسئلة المفتوحة والقرارات.

سيتم نشر معظم الأخبار الخاصة بتدرّج العمل في الصفحة العامة لـأخبار فريق النمو، مع نشر بعض الأخبار الهامّة أو المفصّلة هنا.



الوضع الحاليّ

 * 2021-03-01: إنشاء صفحة المشروع
 * 2022-02-25: انطلاق المشروع مع حوارات صُلْب الفريق
 * 2022-03-01: توسّع صفحة المشروع
 * 2022-05-11: مناقشات المجتمع
 * 2022-08-12: انتهاء اختبار المستخدم
 * 2022-11-24: تمّت إضافة كلّ من التصاميم الحالية والقياسات وخطّة التجارِب
 * 2022-12-01: تمّ إصدار وحدة التأثير إلى الويكيات النموذجية
 * 2023-02-07: بدأ العمل على التطوير/رفع المستوى وعمل المديح الشخصي وبدأت المناقشة المجتمعية الثانية
 * 2023-02-14: تمّ نشر تحليل معالم مهمة الوافد الجديد مما سيساعد في توجيه العمل على التطوير
 * 2023-03-22: Leveling up features released as an A/B test at Growth pilot wikis
 * 2023-03-24: published Thanks Usage analysis
 * 2023-05-25: released Personalized praise module on Growth pilot wikis
 * Next: release Personalized praise on all Wikipedias

ملخّص
كان فريق النموّ مركّزاً على إنشاء «تجرية متماسكة لدى الوافدين الجدد» التي توفّر حصول الوافدين الجدد على عناصر تُساعدهم على الاندماج في تقاليد مجتمع ويكيبيديا. على سبيل المثال، مع مهام الوافدين الجدد، وفّرنا لهم فرصاً للمساهمة، ومع وحدة الإرشاد، وفّرنا لهم الحصول على إرشاد. تمكنت التعديلات المقترحة من جذب المزيد من الوافدين الجدد لإجراء تعديلاتهم الأولى. مع هذا النجاح، نريد اتخاذ إجراءات لتشجيع الوافدين الجدد على الاستمرار في إجراء المزيد من التعديلات. هذا يلفت انتباهنا إلى عنصر غير مطور يحتاج الوافدون الجدد إلى الوصول إليه: تقييم الأداء. أطلقنا على هذا المشروع اسم «التعزيز الإيجابي».

نريد أن يفهم الوافدون الجدد أن هناك تقدمًا وقيمة للمساهمات المستمرة على ويكيبيديا، مما يزيد من الاحتفاظ بهؤلاء المستخدمين الذين اتخذوا الخطوة الأولى في إجراء التعديل.

سؤالنا الكبير هنا هو: كيف يمكننا تشجيع الوافدين الجدد الذين زاروا لوحة المستخدم وجربوا مزايانا لمواصلة التعديل والإنشاء على وتيرتهم؟

معلومات أساسية
عندما تم نشر لوحة المستخدم للوافد الجديد في عام 2019، كانت تحتوي على «وحدة تأثير» أساسيّة، والتي أدرجت عدد مشاهدات الصفحة للصفحات التي قام المستخدم الجديد بتحريرها. هذا هو الجزء الوحيد من مزايا النمو التي تمنح الوافد الجديد أي إحساس بتأثيره، ولم نقم بتحسينه منذ أن تم نشره أوّل مرة. مع هذا كنقطة انطلاق، قمنا بتجميع بعض المعلومات الهامة حول التعزيز الإيجابي:


 * لقد سمعنا تعليقات جيدة من أعضاء المجتمع حول الوحدة، مع محررين متمرسين يقولون إنه مثير للاهتمام وقيِّم لهم.
 * وقد ثبت أن التقدير الآتي من المستخدمين الآخرين يزيد من الاستبقاء، كما في حالة «شكرًا» (هنا وهنا) وفي تجرِبة من ويكيبيديا الألمانية. نحن نعتقد أنّ هذه التعزيزات من قبل أشخاص حقيقيّين ستكون أكثر فعالية من تلك التي تأتي من النظام الآلي.
 * أوضح أعضاء المجتمع أن الانتقال إلى مهام أكثر قيمة بعد البَدْء بمهام سهلة، يمثل أولوية قصوى للوافدين الجدد، بدلاً من التعثر في القيام بمهام سهلة.
 * تستخدم المنصات الأخرى، مثل Google وDuolingo و Github، العديد من آليات التعزيز الإيجابي مثل الشارات والأهداف.
 * المجتمعات حذرة من تحفيز التحرير الغير صحي. لقد رأينا أنه في مسابقات التحرير التي تقدم جوائز نقدية، أو فقط عندما تعتمد مستويات المستخدمين المتقدّمة مثل «المؤكّدين تِلْقائيًا» على عدد التعديلات، يمكن أن تحفّز الأشخاص على إجراء العديد من التعديلات التي تنطوي على مشكلات.



شخصية المستخدم
هناك أجزاء كثيرة من رحلة الوافد الجديد يمكننا أن نحاول فيها زيادة الاستبقاء. يمكننا التركيز على الوافدين الجدد الذين توقفوا عن التحرير بعد تعديل واحد أو بضعة تعديلات، أو يمكننا التركيز أكثر في الرحلة على الوافدين الجدد الذين توقفوا عن التحرير بعد أسابيع من النشاط. بالنسبة لهذا المشروع، قررنا التركيز على هؤلاء الوافدين الجدد الذين أكملوا جلسة التحرير الأولى، والذين نريدهم أن يعودوا لجلسة ثانية. يوضح الرسم البياني هذا بنجمة صفراء.

نريد التركيز على الوافدين الجدد في هذه المرحلة، فهذه هي المرحلة التالية من مسار التحويل الذي يمكننا من خلاله المساعدة في تحسين الاستبقاء. إنه أيضًا المكان الذي نشهد فيه معدل تناقص كبير جدًا حاليًا، لذلك إذا تمكنا من المساعدة في استبقاء الوافدين الجدد في هذه المرحلة، فيجب أن يكون هناك زيادة ذات مغزى في نموّ المحرر بمرور الوقت.



البحوث والتصميم
تم إجراء بحث حول الآليات المختلفة التي تم توظيفها لتشجيع الناس على المساهمة بالمحتوى في منتجات الويكي وخارجها. فيما يلي بعض النتائج الرئيسية للبحث:


 * دوافع محرري ويكيبيديا متعددة الأوجه، وتتغير بمرور الوقت ومع اكتساب الخبرة. غالبًا ما يكون الدافع وراء المحررين الجدد هو الفضول والتواصل الاجتماعي أكثر من الأيديولوجيا.
 * تركز المشاريع الداخلية على الحوافز الجوهرية، وتناشد الدوافع الإيثارية، ولا يتم تطبيقها بشكل دائم.
 * قد يؤدي توسيع الجذب إلى ما وراء الدوافع الأيديولوجية إلى تحسين تنوّع المحرّرين المحتفظ بهم على ويكيبيديا.
 * أثبتت الرسائل الإيجابية من المستخدمين والمرشدين ذوي الخبرة فعاليتها في الاستبقاء على المدى القصير.

لمشاهدة ملخّص لأفكار التصميم الحالية الخاصة بالتعزيز الإيجابي، راجعوا موجز التصميم هذا. ستتطور تصميماتنا بشكل أكبر من خلال تعليقات المجتمع والعديد من جولات اختبار المستخدم.

أفكار
لدينا ثلاث أفكار رئيسية للتعزيز الإيجابي. قد نتابع أفكارًا متعددة أثناء عملنا في هذا المشروع.

التأثير

 * التأثير: إصلاح شامل لوحدة التأثير عبر دمج الإحصائيات والرسوم البيانية ومعلومات المساهمة الأخرى. ستوفر وحدة التأثير المنقحة مزيدًا من السياق للمحررين الجدد حول تأثيرهم، فضلاً عن تشجيعهم على مواصلة المساهمة. تشمل مجالات الاستكشاف ما يلي:
 * تُعدّ التعديلات المقترحة مرحلةً هامّة، لحث المستخدمين على تجرِبة التعديلات المقترحة.
 * إحصائيات حول مقدار التحرير الذي قام به المستخدم بمرور الوقت (على غرار ما هو موجود في X Tools).
 * أهمية «تم الشكر»، لإبراز القدرة على تلقي تقدير المجتمع.
 * نشاط التحرير الأخير - يشمل الأيام المتتالية التي قام أثناءها الوافدون الجدد بالتحرير («متسلسلة») لتشجيع المشاركة المتواصلة أو تذكير الأشخاص بالرجوع إلى المساهمة.
 * عرض نشاط القراءة على المقالات التي قام الوافدون الجدد بتحريرها بمرور الوقت (على غرار المعلومات الموجودة على Wikipedia:Pageview_statistics).



التطوير

 * التطوير: من المهم للمجتمعات أن يتقدم الوافدون الجدد إلى مهام أكثر قيمة. بالنسبة لأولئك الذين يقومون بالعديد من المهام السهلة، نريد دفعهم نحو تجربة مهام أكثر صعوبة. يمكن أن يحدث هذا بعد إكمال عدد معيّن من المهام السهلة، أو عن طريق التشجيع على لوحة المستخدم الخاصة بهم. تشمل مجالات الاستكشاف ما يلي:
 * سيرى الوافد الجديد رسائل النجاح بعد التحرير، تحفزهم على إجراء المزيد من التعديلات على نفس المستويات أو مستويات صعوبة مختلفة.
 * في وحدة التعديلات المقترحة، توفير فرص لإجراء تعديلات أكثر صعوبة، حتى يصبح الوافدون الجدد محررين أكثر مهارة.
 * في وحدة التأثير، تضمين عدّاد المراحل أو منطقة الجائزة.
 * في لوحة المستخدم، إضافة وحدة جديدة ذات تحدّيات محدّدة للحصول على بعض المكافآت (وسام/شهادة).
 * إضافة إخطارات لمطالبة الوافدين الجدد بتجربة مهمة أكثر صعوبة.



الثناء المشخّص

 * الثناء المشخّص: تظهر البحوث أن الثناء والتشجيع من المستخدمين الآخرين يزيدان من استبقاء الوافدين الجدد. نريد التفكير في كيفية تشجيع المستخدمين ذوي الخبرة على شكر الوافدين الجدد ومكافأتهم على المساهمات الجيدة. ربما يمكن تشجيع المرشدين على القيام بذلك بواسطة لوحات المرشدين الخاصة بهم أو بواسطة الإشعارات. يمكننا الاستفادة من آليات الاتصال الحالية التي أثبتت الدراسات السابقة أن لها درجة من التأثير الإيجابي. تشمل مجالات الاستكشاف ما يلي:
 * ظهور رسالة شخصية من مرشد الوافد الجديد في لوحة المستخدم.
 * إشعار صدى من المرشد أو من فريق النموّ ويكيميديا.
 * «شكر» من أجل تعديل معيّن.
 * شارة لبلوغ مرحلة هامة جديدة يمنحها المرشد أو فريق نموّ ويكيميديا فيما يتعلق بتعديل معيّن.



النقاشات المجتمعية
ناقشنا مشروع التعزيز الإيجابي مع أفراد المجتمع من ar:ويكيبيديا:مشروع فريق النمو (التعزيز الإيجابي)bn:উইকিপিডিয়া:আলোচনাসভাcs:Diskuse k Wikipedii:Zkušenosti nových wikipedistů/Pozitivní posílenífr:Discussion Projet:Aide et accueil/Volontaires، وهنا على mediawiki.org.

تلقينا تعليقات مباشرة حول الأفكار الرئيسية الثلاثة، إلى جانب العديد من الأفكار الأخرى لتحسين الاحتفاظ بالمحرر الجديد.

يوجد أدناه ملخص للمواضيع الرئيسية من التعليقات، جنبًا إلى جنب مع كيف نخطط للتحسين بناءً على التعليقات.

التأثير


الثناء المشخّص


أفكار أخرى:
اقترح أعضاء المجتمع عدة أفكار أخرى لتحسين مشاركة الوافدين الجدد والاحتفاظ بهم. نعتقد أن هذه، كلّها أفكار قيمة (بعض منها نستكشفها فعلًا أو نرغب في العمل عليها في المستقبل) ولكن الأفكار التالية لن تتناسب مع نطاق المشروع الحالي:
 * إرسال رسائل استقبال وترحيب عبر البريد الإلكتروني للوافدين الجدد (يقوم فريق النموّ حاليًا باستكشاف رسائل البريد الإلكتروني المُشَرِّكة بالتعاون مع فرق التسويق وجمع التبرعات).
 * عرض مشاريع الويكي للوافدين الجدد التي تتعلق باهتماماتهم.
 * تضمين عنصر واجهة مستخدم قابل للتخصيص في لوحة المستخدمين للوافدين الجدد للسماح لمواقع الويكي بالترويج لمهام أو أحداث معينة للوافدين الجدد.
 * إرسال إشعارات إلى المستخدمين الذين يرحبون بالوافدين الجدد بمجرد وصول الوافد الجديد إلى مراحل تحرير معينة (للمساعدة في حثّ المستخدم على تقديم الشكر أو ويكي الحبّ).



الاستشارة المجتمعية الثانية:
في فبراير 2023، أكملنا استشارة مجتمعية استعرضنا فيها أحدث تصميمات التطوير باستخدام مواقع الويكي النموذجية لفريق النموّ. This consultation was completed in English on MediaWiki, and at Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, and Spanish Wikipedia. (T328356) In general, feedback was quite positive. These two tasks help address feedback mentioned by those that responded to our questions:


 * التطوير: اﻹعداد المجتمعي (T328386)
 * التطوير: التحسين الثاني للتصميم الخاصّ بـحوار «جرّبوا مهمّةً جديدة» (T330543)

In March 2023, we completed a community consultation in which we reviewed the most recent Personalized praise designs with the Growth Pilot wikis. This consultation was completed on English Wikipedia, Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, French Wikipedia, Spanish Wikipedia, and at MediaWiki in English. (T328356) Most feedback was supportive of Personalized praise features, but several further improvements were requested. We've created Phabricator tasks to address these further improvements.


 * في ويكيبيديا العربية ومواقع الويكي الأخرى ذات التعديلات المعلّقة، لا يرغب المرشدون في رؤية عدد التعديلات التي أكملها المستخدم فحسب، بل يريدون المزيد من التفاصيل حول حالة مراجعة التعديلات (T333035)
 * يرغب المرشدون في أن يكونوا قادرين على عرض عدد أو نسبة الاسترجاعات التي حصل عليها متدربهم، وتخصيص عدد الاسترجاعات لديهم حتّى يمكن اعتبارهم جديرين بالثناء (T333036)
 * سيقدر المرشدون معرفة التعديل الذي تم شكر المتدرب عليه (T51087)



اختبار المستخدم
إلى جانب المناقشة المجتمعية، أردنا التحقق من صحة تصميماتنا وفرضياتنا الأولية والإضافة إليها عن طريق اختبار التصاميم مع القراء والمحررين من عدة بلدان. لذلك أجرى فريق بحث التصميم لدينا اختبارًا على التعزيز الإيجابي للمستخدم يهدف إلى فهم تأثير المشروع بشكل أفضل على مساهمة الوافدين الجدد عبر عدّة لغات مختلفة.

اختبرنا العديد من تصاميم التعزيز الإيجابي الثابتة مع قراء ومحرري ويكيبيديا باللغات العربية والإسبانية والإنقليزية. Along with testing Positive Reinforcement designs we introduced data visualizations from xtools as a way to better understand how these data visualizations are perceived by newcomers.





نتائج اختبار المستخدم

 *  Make impact data actionable:  Impact data was a compelling feature for participants with more experience editing, which several related to their interest in data—an unsurprising quality for a Wikipedian. For those new to editing, impact data, beyond views and basic editing activity, may be more compelling if linked to goal-setting and optimizing impact.
 *  Evaluate the ideal editing interval:  Across features, daily intervals seemed likely to be overly ambitious for new and casual editors. Participants also reflected on ignoring similar mechanisms on other platforms when they were unrealistic. Consider consulting usage analytics to identify “natural” intervals for new and casual editors to make goals more attainable.
 *  Ensure credibility of assessments:  Novice editor participants were interested in the assurance of their skills and progress the quality score, article assessment, and badges offer. Some hoped that badges could lend credibility to their work reviewed by more experienced editors. With that potential, it could be valuable to evaluate that the assessments are meaningful measures of skill and further explore how best to leverage them to garner community trust of newcomers.
 *  Reward quality and collaboration over quantity:  Both editor and reader participants from esWiki were more interested in recognition of their knowledge or expertise (quality) than the number of edits they have made (quantity). Similarly, some Arabic and English editors are motivated by their professional interests and skill development to edit. Orienting goals and rewards to other indicators of skilled edits, such as adding references or topical contributions, and collaboration or community involvement may also help mitigate concerns about competition overtaking collaboration.
 *  Prioritize human recognition:  While scores and badges via Growth tasks is potentially valued, recognition from other editors appears to be more motivational. Features which promote giving, receiving, and revisiting thanks seemed most compelling, and editors may benefit from selecting impact data which demonstrates engagement with readers or editors most compelling to them.
 *  Experiment with playfulness of designs:  While some positive reinforcement features can be seen as the product of “gamification”, some participants (primarily from EsWiki) felt that simple, fun designs were overly childish or playful for the seriousness of Wikipedia. Consider experimenting with visual designs that vary in levels of playfulness to evaluate broader reactions to “fun” on Wikipedia.

التصميم
فيما يلي التصاميم الحالية للتعزيز الإيجابي. لقد قمنا بتحسين الأفكار الرئيسية الثلاثة الموضحة أعلاه، لكن نطاق الخطط والتصاميم الفعلية تطورت بناءً على التعليقات من مناقشات المجتمع واختبار المستخدم.

التأثير
The revised impact module provides new editors with more context about their impact. The new design includes far more personalized info and data visualizations than the previous design. This new design is fairly similar to the design we shared previously when discussing this feature with communities. You can view the current engineering progress at beta wiki, and we hope to release this feature to Growth pilot wikis soon.



التطوير
تركز ميزات التكوير على تشجيع الوافدين الجدد للتقدم نحو مهام أكثر قيمة. تتضمن الأفكار أيضًا بعض المطالبات للمحررين الجدد لتجربة التعديلات المقترحة، حيث تم إظهار المهام المهيكلة على أنها تعمل على تحسين التنشيط والاحتفاظ بالوافدين الجدد.
 * رسالة حوار ما بعد التعديل لـ«التطوير»: تمت إضافة نوع جديد لرسالة حوار ما بعد التحرير لتشجيع الوافدين الجدد على تجرِبة نوع جديد لمهمة. نأمل أن يشجع هذا بعض المستخدمين على تعلم مهارات تحرير جديدة أثناء تقدمهم في مهام مختلفة أكثر صعوبة.
 * Post-edit dialog for non-suggested edits: Introduce newcomers who complete ‘normal’ edits to suggested edits. We plan to experiment by showing newcomers a prompt post 3rd and 7th edit. Desktop users who click through to try a suggested edit will also see their Impact module, which we hope helps engage newcomers and provides a small degree of automated positive reinforcement. We will carefully measure this experiment, and ensure there aren't any unintentional negative effects.
 * New notifications: New echo notifications to encourage newcomers to start or continue suggested edits. This acts as a proxy to “win-back” emails for those who have an email address and settings on to receive email notifications.



الثناء المشخّص
Personalized praise features are based on research results that show that encouragement and thanks from other users increases editor retention.
 * Encouragement from Mentors: We will add a new module to the Mentor dashboard, that is designed to encourage Mentors to send personalized messages to newcomers who meet certain criteria. We will allow Mentors to customize and control how and when "praise-worthy" mentees are surfaced.
 * Increasing Thanks across the wiki: We plan to fulfill the community wishlist item to Enable Thanks Button by default in Watchlists and Recent Changes (T51541, T90404). We hope this will increase Thanks and positivity across the wikis, and hopefully newcomers will benefit from this directly or indirectly.



Hypotheses
The Positive Reinforcement features aim to provide or improve the tools available to newcomers and mentors in three specific areas that will be described in more detail below. Our hypothesis is that once a newcomer has made a contribution (say by making a structured task edit), these features will help create a positive feedback cycle that increases newcomer motivation.

Below are the specific hypotheses that we seek to validate across the newcomer population. We will also have hypotheses for each of the three sets of features that the team plans to develop. These hypotheses drive the specifics for what data we will collect and how we will analyse that data.


 * 1) The Positive Reinforcement features increase our core metrics of retention and productivity.
 * 2) Since the Positive Reinforcement features do not feature a call to action that asks newcomers to make edits, we will see no difference in our activation core metric.
 * 3) Newcomers who get the Positive Reinforcement features are able to determine that making un-reverted edits is desirable, and we will see a decrease in the proportion of reverted edits.
 * 4) The positive feedback cycle created by the Positive Reinforcement features will lead to a significantly higher proportion of "highly active" newcomers.
 * 5) The Positive Reinforcement features increase the number of Daily Active Users of Suggested edits.
 * 6) The average number of edit sessions during the newcomer period (first 15 days) increases.
 * 7) "Personalized praise" will increase mentor’s proactive communication with their mentees, which will lead to increase in retention and productivity.

Experiment plan
Similarly as we have done for previous Growth team projects, we want to test our hypotheses through controlled experiments (also called "A/B tests"). This will allow us to establish a causal relationship (e.g. "The Leveling Up features cause an increase in retention of xx%"), and it will allow us to detect smaller effects than if we were to give it to everyone and analyze the effects pre/post deployment.

In this controlled experiment, a randomly selected half of users will get access to Positive Reinforcement features (the "treatment" group), and the other randomly selected half will instead get the current (September 2022) Growth feature experience (the "control" group). In previous experiments, the control group has not gotten access to the Growth features. The team has decided to move away from that (T320876), which means that the current set of features is the new baseline for a control group.

The Personalized Praise feature is focused on mentors. There is a limited number of mentors on every wiki, whereas when it comes to newcomers the number increases steadily every day as new users register on the wikis. While we could run experiments with the mentors, we are likely to run into two key challenges. First, the limited number of mentors could mean that the experiments would need to run for a long time. Second, and more importantly, mentors are well integrated into the community and communicate with each other, meaning they are likely to figure out if some have access to features that others do not. We will therefore give the Personalized Praise features to all mentors and examine activity and effects on newcomers pre/post deployment in order to understand the feature’s effectiveness.

In summary, this means we are looking to run two consecutive experiments with the Impact and Leveling up features, followed by a deployment of the Personalized Praise features to all mentors. These experiments will first run on the pilot wikis. We can extend this to additional wikis if we find a need to do that, but it would only happen after we have analyzed the leading indicators and found no concerns.

Each experiment will run for approximately one month, and for each experiment we will have an accompanying set of leading indicators that we will analyze two weeks after deployment. The list below shows what the planned experiments will be:


 * 1) Impact: treatment group gets the updated Impact module.
 * 2) Leveling up: treatment group gets both the updated Impact module and the Leveling up features.
 * 3) Personalized praise: all mentors get the Personalized praise features.

Leading indicators and plan of action
While we believe that the features we develop are not detrimental to the wiki communities, we want to make sure we are careful when experimenting with them. It is good practice to define a set of leading indicators together with plans of what action to take based if a leading indicator suggests something isn't going the way it should. We have done this for all our past experiments and do so again for the experiments we plan to run as part of this project.

Impact
 Impact module interactions:  We find that the proportion of newcomers who interact with the old module (6.1%) is significantly higher than for the new module (5%): $$\chi^2 = 17.5, df = 1, p \ll 0.001$$ This difference showed up early on in the experiment, and we have examined the data more closely understand what is happening. One issue we identified early on was that not all interaction events were instrumented, which we subsequently resolved. Examining further, we find that many of those who get the old module click on links to the articles or the pageviews. In the new module, a graph of the pageviews is available, thus removing some of the need for visiting the pageview tool. As a result, we decided that no changes were needed.

 Mentor module interactions:  We find no significant difference in the proportion of newcomers who interact with the Mentor module. The proportion for newcomers who get the old module is 2.4%, for those who get the new module it's 2.2%. A Chi-square test finds this difference not significant: $$\chi^2 = 1.5, df = 1, p = 0.219$$

 Mentor module questions:  We do not see a substantial difference in the number of questions asked between the old module (269 edits) and the new module (281 edits). The proportion of newcomers who asks their mentor a question is also the same for both groups, at 1.5%.

 Edits and revert rate:  We do not see a substantial difference in the number of edits nor in the revert rate between the two groups measured on a per-user average basis. There are differences between the groups, but these are driven by some highly prolific editors, particularly on the mobile platform.

Levelling up
 Levelling up post-edit dialog interactions:  We find a higher proportion of newcomers interacting with the post-edit dialog in the Levelling Up group (90.8%) compared to the standard post-edit dialog (86.5%). This is largely driven by mobile where the Levelling Up interaction proportion (88%) is a lot higher than the other group (81.6%). The proportion is still higher for the Levelling Up group on desktop (93.6%) compared to the control (92.2%), but we regard it as "virtually identical" because the high proportion in the control group means there is little room for an increase.

 Try a suggested edit click through rates:  21.9% of newcomers who see the "Try a suggested edit" post-edit dialogue chooses to click through, which is significantly higher than the threshold set. The proportion is higher on desktop (24%) than on mobile (19.7%), but in neither case is there a reason for concern.

 Increase your skill level click through rates:  We find that 73.1% of newcomers who see the "increase your skill level" dialog click through to see the new task, which is a lot higher than our expected threshold of less than 10%. Proportions are high on both desktop (71.1%) and mobile (77.3%).

 Get started click through rates:  3.8% of newcomers who get the "Get started" notification clicks through to the Homepage. Users who registered on desktop are more likely to click the notification (5.5%) than those on mobile (2.5%). Because the threshold of 5% is met, we are investigating further to understand this difference between desktop and mobile behaviour, particularly to understand if our 5% threshold is reasonable.

 Keep going click through rates:  We find that 9.6% of users who get the "Keep going" notification clicks through to the Homepage. Similarly as we do for the "Get started" notifications, we find a much higher proportion on desktop (16.2%) compared to mobile (4.7%). Our investigations into differences in notification behaviour by platform will hopefully give us more insight into this difference.

 Activation:  We find a decrease in constructive article activation (making a non-reverted article edit within 24 hours of registration) of 27% compared to 27.7%. As soon as we noticed this we opened T334411 to investigate the issue, with a focus on patterns in geography (countries and wikis) and technology (devices and browsers). We did not find clear patterns explaining the issue. The investigation of this decrease in activation will be investigated further: T337320.

Personalized praise
Data was gathered on 2023-06-13, from the four pilot wikis where the feature is deployed (Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, and Spanish Wikipedia).

Personalized praise notification click through: Although this is still a relatively small sample, results seem healthy and show that Mentors are indeed receiving notifications and clicking through to view their praise-worthy mentees.

Personalized praise mentor dashboard module click through: Only 27.5% of Mentors are clicking through to a mentee's talk page, however it's to be expected that some of the mentees we are surfacing aren't deserving of praise. Based on this data and feedback from Mentors, the Growth team will pursue the following tasks to help improve this feature:


 * Add revert scorecard to Personalized praise module on Mentor dashboard (T337510)
 * Exclude blocked accounts from the Personalized praise suggestions (T338525)

Experiment Results
Many of the experiments that the Growth team runs will focus on the same set of key metrics (commonly referred to as KPIs), and this includes all of the Positive Reinforcement experiments. The key metrics are defined as follows:


 * Constructive activation is defined as a newcomer making their first edit within 24 hours of registration, and that edit not being reverted within 48 hours.
 * Activation is similarly defined as constructive activation, but without the non-revert requirement.
 * Constructive retention is defined as a newcomer coming back on a different day in the two weeks after constructive activation and making another edit, with said edit also not being reverted within 48 hours.
 * Retention is similarly defined as constructive retention, but without the non-revert requirements.
 * Constructive edit volume is the overall count of edits made in a user's first two weeks, with edits that were reverted within 48 hours removed.
 * Revert rate is the proportion of edits that were reverted within 48 hours out of all edits made. This is by definition 0% for users who made no edits, and we generally exclude these users from the analysis.

Impact module experiment results
We found a significant decrease in constructive activation for newcomers who registered on mobile web and got the New Impact module. There was no difference in activation for newcomers who registered on desktop. This was quite surprising as the empty state for the old Impact module was nearly identical to the empty state of the new Impact module.

First-day activity correlates strongly with later activity, and as a result we also found a significant decrease in edit volume for mobile web users. Again, there was no difference for desktop users.

We found no difference in retention rates and revert rates. While there are features in the New Impact module that focuses on staying active and making good contributions, such as the number of thanks received and the streak counter, we often do not see significant impacts on metrics unless there's a clear call to action or we are able to isolate a specific subgroup motivated by the feature.

As soon as we learned about the decrease in activation we started investigations into probable causes of this in T330614. Unfortunately we could not identify a specific reason and we also found that the issue was not replicated in another dataset. We decided to add activation as a leading indicator to the Levelling Up experiment so that we could take action more quickly. When we noticed that the issue persisted, we started a new investigation in T334411 and created an "epic" task that connects all relevant subtasks: T342150. We restarted experiment data collection after making several small changes, and we now see that activation is identical between the experiment and control group, which is what we would expect.

Although we are pleased that we have received positive feedback from new editors regarding the new Impact module, we have found that the Impact module alone hasn't resulted in significant changes in newcomer retention, edit volume, or revert rates. Our next experiment will combine the new Impact module with the Leveling up features. We hope that this combination of Positive Reinforcement features will lead to substantial improvements in activation, retention, and edit volume. We will soon publish a detailed report that highlights the outcomes of this experiment.