Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan/ar

الهدف من الصفحة الرئيسية هو تمكين المستخدمين، وخاصة أولئك الذين قاموا بالتسجيل حديثًا، من سهولة الوصول إلى أشياء مثل موارد المساعدة واقتراحات العمل الذي يمكنهم القيام به، والمعلومات التي تبرز النشاط لمجتمع ويكيبيديا والعمل المنجز. هذا النوع من المعلومات يمكن أن يقلل من الحواجز التي تقف ضد القيام بمساهمات إيجابية في الموسوعة، وذلك عبر الترفيع في تفعيل المحررين (نسبة المستخدمين الجدد الذين يستمرون في التحرير). يمكنها أيضا أن تزيد في استبقاء المحررين (نسبة المستخدمين الذين يعودون للقيام بأعمال تحريرية اضافية)، وهذا هو الهدف الشامل لعمل فريق النمو.

هذه الصفحة توثق مخططاتنا للقيام باختبار مراقب للصفحة الرئيسية وماهي القياسات التي سنستعملها لتعلم كيفية تعامل المستخدمين معها.

أسئلة البحث
أسئلة البحث هي الأسئلة ذات المستوى الأعلى التي نريد الحصول على اجاباتها. نعني بكلمة "معالجة الصفحة الرئيسية" أن المستخدم لديه صفحة رئيسية بشكل آلي وأنه يتلقى مختلف الميزات المساعدة التي تدفعه إلى الصفحة الرئيسية، والتي قد تشمل لافتات أو رسائل النقاش أو روابط على الصفحة الأولى. في الإصدار الأولي، ستكون الميزة الإضافية الوحيدة هي في الواقع أن رابط اسم المستخدم في الأدوات الشخصية سينتقل إلى الصفحة الرئيسية للمستخدم.


 * 1) هل الحصول على معالجة الصفحة الرئيسية يزيد من نشاط المحرر؟
 * 2) هل الحصول على معالجة الصفحة الرئيسية يزيد من استبقاء المحرر؟
 * 3) هل الحصول على معالجة الصفحة الرئيسية يزيد من معدل نسب التعديلات خلال الأسبوع الأول بعد التسجيل؟
 * 4) هل الحصول على معالجة الصفحة الرئيسية يزيد من نسب التعديلات الايجابية؟
 * 5) * في هذا الصدد، "التعديلات الايجابية" تعني تعديلات لم يقع حذفها. بما أن فريق النمو يركز على استبقاء الوافد الجديد، نخطط لقياس هذا بشكل عام وكذلك من خلال مستويات تجربة المستخدم (مثلا المدة بالأيام أو عدد التعديلات أو توليفات منها)
 * 6) هل المستخدمون الذين لهم منفذ إلى الصفحة الرئيسية، يذهبون ويرجعون إلى الصفحة الرئيسية؟ ماهي الأنماط التي نراها في زيارات الصفحة الرئيسية؟
 * 7) ماهي الوحدات التي تلزم الوافدين الجدد وإلى أي مدى يكون هذا الالتزام؟ هل الوحدات التي تسأل المستخدمين الإتيان بأعمال تؤدي بهم في الآخر إلى القيام بهذه الأعمال؟
 * 8) هل في مقدورنا فعلا أن نعدّل ونشخصن الصفحة الرئيسية؟
 * 9) * أول خطوة: هل يتصرف المستخدمون بما يتماشى مع أجوبتهم المقدمة في الاستطلاع الترحيبي؟ على سبيل المثال، هل المستخدمون الذين يقولون أنهم مهتمون بأن يتم الاتصال بهم لمساعدتهم في التعديل، يستعملون وحدة المساعدة للوصول إلى مرشد؛ وهل المستخدمون الذين يقولون أنهم مهتمون بإنشاء مقالة، يستخدمون الوحدات التي تمكنهم من التعلم أكثر كيف يقومون بذلك؟
 * 10) * الخطوة الثانية: حينما نستطيع أن نشخصن الصفحة الرئيسية، هل سنرى ارتفاعا في التزام المستخدمين الذين لديهم صفحة رئيسية قد تم تعديلها؟
 * 11) عندما تصبح الصفحة الرئيسية قابلة للتعديل، ما مدى استفادة المستخدمين من هذه الميزة؟
 * 12) لو/متى وجد المجهود لاستطلاع رأي الوافدين الجدد حول الصفحة الرئيسية، ماذا نستطيع تعلمه على مستوى الكم؟ هذا النوع من الدراسات النوعية، يمكن أن ينجز عبر استطلاعات سريعة للرأي، أو عبر وحدة على الصفحة الرئيسية ستسأل ببساطة عن باقي الصفحة.

الاختبار المراقب
من أجل فهم تأثير الصفحة الرئيسية على نشاط واستبقاء المحريرن، نقترح تجربة ستستمر على الأقل لمدة ستة أشهر، خلال تلك المدة، 50% من المسجلين على الويكيبيديات المستهدفة (حاليا العربية، التشيكية، الكورية، والفيتنامية) سيتحصلون على الصفحة الرئيسية مفعّلة مسبقا، والـ50% المتبقية ستعطّل لديهم. على الأرجح سنقوم في نفس الوقت باختبارات أخرى على الويكيبيديات المستهدفة (مثل أشكال مختلفة من وحدة المساعدة الخاصة بنا). إذا كانت هذه التجارب ستتطلب أخذ عينات طبقية، فسوف نتأكد من ضبط استراتيجيات أخذ العينات لدينا حسب الضرورة.

أثناء تشغيل التجربة، نتوقع أيضًا اختبار أشكال أخرى من الصفحة الرئيسية لفهم كيفية تأثير عناصر واجهة معينة على سلوك المستخدم. سوف نتذكر أنه كلما كانت فرضيتنا القائلة بأن الواجهة التي تم تغييرها ستؤثر على التنشيط أو الاستبقاء، كلما زاد اختبار هذه الواجهة بين تجربتنا الطويلة الأجل حول التنشيط والاستبقاء.

القياسات
تستند هذه القياسات إلى أسئلة البحث الخاصة بنا وتركز على الإجراءات المحددة التي يتخذها المستخدمون الذين لديهم القدرة على الوصول إلى الصفحة الرئيسية والتفاعل مع الوحدات النمطية الخاصة بها. تحتوي القائمة أدناه على قياسات للوحدات الأربعة الموجودة على الصفحة الرئيسية في وقت الإطلاق: البدء، والمساعدة، والتأثير ، والمرشد. عندما سنطور وحدات جديدة للصفحة الرئيسية، سنقوم أيضًا بتطوير خطط قياس مماثلة لتلك.


 * 1) عام
 * 2) ماهي نسبة المستخدمين الذين يزورون الصفحة الرئيسية؟
 * 3) ماهي نسبة المستخدمين الذين يزورون الصفحة الرئيسية عدة مرات؟
 * 4) عندما يصل المستخدمون إلى الصفحة الرئيسية عدة مرات، من خلال أي جدول زمني يحدث ذلك؟
 * 5) هل من اختلاف بين مستخدمي الهاتف المحمول ومستخدمي سطح المكتب؟
 * 6) بعد إنشاء حساب، متى يقوم المستخدم بزيارة الصفحة الرئيسية لأول مرة؟
 * 7) كيف يتمكن المستخدمون من الوصول إلى الصفحة الرئيسية؟
 * 8) عبر النقر على اسم المستخدم الخاص بهم في أعلى الصفحة؟
 * 9) بالنقر على علامة التبويب من صفحة المستخدم أو صفحة نقاش المستخدم؟
 * 10) عبر وسيط آخر، مثل لافتة على ويكي أو رابط في رسالة بريد إلكتروني؟
 * 11) إذا نقر المستخدم على رابط إلى الصفحة الرئيسية من أعلى الصفحة أو من علامة تبويب، فنحن نريد تحديد السياق الذي كانوا فيه. وعلى وجه التحديد، نريد أن نعرف نطاق الاسم الذي كانوا فيه عندما قاموا بالنقر منه، وما إذا كانوا بصدد القراءة أو بصدد القيام بالتحرير.
 * 12) كم من الوقت يمضي المستخدمون في التعامل مع وحدات الصفحة الرئيسية في كل زيارة؟
 * 13) خلال الزيارة الأولى؟
 * 14) خلال الزيارات الموالية؟
 * 15) ماهي نسبة المستخدمين الذين يتبعون وصلات على الأقل من وحدة واحدة؟
 * 16) هل المستخدمون الذين لهم منفذ إلى الصفحة الرئيسية، على استعداد أم لا لإنشاء صفحة مستخدم؟
 * 17) هل المستخدمون الذين لهم منفذ إلى الصفحة الرئيسية، على استعداد أم لا للتفاعل مع المستخدمين الآخرين عبر صفحات نقاشهم الخاصة؟
 * 18) هل المستخدمون الذين لهم منفذ إلى الصفحة الرئيسية، على استعداد أم لا للتفاعل مع المجتمع عبر المقالات وصفحات نقاش المشاريع؟
 * 19) وحدات
 * 20) عام
 * 21) How often is each module clicked on? What is the proportion of users who click on each one?
 * 22) How many modules do users tend to interact with (where “interact” means any click)?
 * 23) Which modules tend to be interacted with repeatedly?
 * 24) Which modules are interacted with most by those users who are activated and retained (acknowledging that the causality may be going in either direction)?
 * 25) How long do desktop users hover over each module? (analogous measurement for mobile depends on pending mobile design)
 * 26) Does the placement of the module on the page appear to influence interactions?
 * 27) What is the impact on retention from doing the call-to-action on each module?
 * 28) For example: what percentage of users who contact their mentor are retained?
 * 29) الوحدات المحددة
 * 30) وحدة المساعدة
 * 31) What percent of users click one or more of the help links?
 * 32) If so, which link(s) do they click?
 * 33) What percent of users use the search functionality?
 * 34) 1: Focus on the search box
 * 35) 2: Submit a search, number of characters in search
 * 36) 3: Click a result, number of results, ranking of clicked result
 * 37) How far do users go in the workflow of asking a question on the Help Desk?
 * 38) 1: انقر لكي تطرح سؤالا
 * 39) 2: اكتب سؤالا
 * 40) 3: إرسال
 * 41) 4: Click a link in the confirmation dialog
 * 42) What is the average length of questions asked?
 * 43) What percent of users who post a question appear to return to view the answer, by doing any of the following?
 * 44) Clicking the Echo notification saying they have been pinged in the response.
 * 45) Clicking on the link in the “Your recent questions” list.
 * 46) Responding to the answer on the Help Desk page.
 * 47) What percent of newcomers that had no email address add one when asking a question?
 * 48) What percent of newcomers confirm their email address (within 48 hours) after asking a question?
 * 49) What percent of newcomers ask a question without an email address?
 * 50) What percent of users who asked at least one question see one or more archived questions when they view the homepage?
 * 51) What percent of users who click on one of the links in the “Your recent questions” list clicked on a link to a question that was archived?
 * 52) وحدة الارشاد
 * 53) What percent click on a link to learn more about the mentor?
 * 54) How far do users go in the workflow of asking their mentor a question?
 * 55) 1: انقر لكي تطرح سؤالا
 * 56) 2: اكتب سؤالا
 * 57) 3: إرسال
 * 58) 4: Click a link in the confirmation dialog
 * 59) What is the average length of questions asked?
 * 60) (Measured by hand) What percent of users who post a question receive an answer from their mentor?
 * 61) Do they get an answer from someone that is not their mentor?
 * 62) What percent of users who post a question appear to return to view the answer, by doing any of the following?
 * 63) Clicking the Echo notification saying they have been pinged in the response.
 * 64) Clicking on the link in the “Your recent questions” list.
 * 65) Responding to the answer on the talk page.
 * 66) (Measured by hand) What percent of newcomers who ask a question post a second time on their mentor’s talk page?
 * 67) How often does the first question become a conversation?
 * 68) How often is a second question asked?
 * 69) How often do conversations move beyond transactional wiki talk?
 * 70) What percent click on one of the links to view their question after they’ve asked it?
 * 71) What percent of newcomers that had no email address add one when asking a question?
 * 72) What percent of newcomers confirm their email address (within 48 hours) after asking a question?
 * 73) What percent of newcomers ask a question without an email address?
 * 74) Are newcomers more likely to ask questions to mentors who have a high edit count and short time since last edit compared to mentors with lower edit counts and/or longer time since last edit?
 * 75) What percent of users who asked at least one question see one or more archived questions when they view the homepage?
 * 76) What percent of users who click on one of the links in the “Your recent questions” list clicked on a link to a question that was archived?
 * 77) Impact module
 * 78) What percent click on a link when the module is in its “unactivated state” (when the user has no edits to articles)?
 * 79) What percent click to view an article?
 * 80) What percent click to view the pageviews analysis tool?
 * 81) What percent click to view all their contributions?
 * 82) How often do users return to open the pageviews analysis tool multiple times?
 * 83) Start module
 * 84) What percent of users that had no email address add an email address through this module?
 * 85) What percent of users confirm their email address through this module?
 * 86) What percent of users click the button for the tutorial?
 * 87) What percent of users click the button to start their user page, and what percent of them actually save a user page?
 * 88) What percent of users click the link to learn more about creating a user page?

Leading indicators and plans of action
The duration of the A/B test is at least six months because it is impossible to detect changes to new editor retention on mid-size wikis in less time than that (unless we drastically impact retention, but we see that as somewhat unlikely). While we wait for our results we want to be able to take action if we suspect that something is amiss. Below, we sketch out a set of scenarios based on the data described in the instrumentation strategy above. For each scenario, we propose a plan of action to take to remedy the situation.

Status of leading indicators
The newcomer homepage was deployed to the Czech and Korean Wikipedias on May 6, 2019. We monitored the leading indicators regularly during the first month of the experiment and did not find issues that required immediate attention. Instead, we find that the Homepage is seeing a lot of traffic and interactions, in particular we notice that a high proportion of users are returning to it multiple times.

Table 1 below shows the leading indicators from the Measurement experiment plan together with results from both Wikipedias. This analysis is based on data of users who registered between deployment on May 6, 2019 and the time of analysis on June 3, 2019. Users who either self-selected into or out of having the Homepage (turning the option on or off) are excluded, as is any known test account from Growth Team members.

There's one threshold that has been met, modules not being extensively used, and two areas of concern. Below we address these in more detail:


 * Not using a specific module: The only module that is not being used extensively is the Help module, which provides users with links to help content and a dialogue for posting questions to the Help Desk. We are not particularly concerned about this, partly because some users are interacting with it (mainly following the help links), and partly because it's not a problem if our users do not have a strong need to post questions to the Help Desk from the Homepage. Instead, we are seeing Homepage users posting questions to their mentors.
 * Not visiting the homepage: The threshold is not met on either wiki, but it can be labelled as "not far off" on Korean Wikipedia. Since we are in the process of developing features that help new users discover the Homepage, we do not see this as an issue as we expect that feature to reduce this proportion.
 * Not enough mentors: It does not appear that the volume of questions is difficult to deal with on either wiki. That being said, allowing new users to post questions to their mentors is a system where we are relying on individuals to respond, which can result in longer response times than what we might see on a wiki's Help Desk. At this point we do not find cause for concern, but it is an area that we will keep an eye on.