Growth/Personalized first day/Structured tasks/Add an image/ar

تُترجم هذه الصفحة العمل على المهمّة المهيكلة «إضافة صورة»، التي هي نوع من المهام المهيكلة التي سيُوفرها فريق النمو عبر لوحة المستخدم الخاصة بالوافدين الجدد. يفكّر فريق الأندرويد أيضا بمهمّة مماثلة في تطبيقة ويكيبيديا على الأندرويد باستخدام نفس المكوّنات الأساسية. النقاشات والتحديثات على هذه الصفحة ذات صلة بكلّ من الفريقين. بالإضافة إلى أنّ فريق البيانات الهيكليّة هو في المراحل الأولى من تجرِبة شيء مماثل، تطرّق إلى مستخدمين أكثر خبرة مع استغلال البيانات المهيكلة في كومنز. النقاشات والتحديثات الموجودة على هذه الصفحة ذات صلة بعمل كافة الفرق.

تحتوي الصفحة على أهداف رئيسة وتصاميم وأسئلة مفتوحة وقرارات.

سيتم نشر معظم التحديثات التدريجية الجاري عليها العمل في الصفحة العامة لـتحديثات فريق النمو، مع نشر بعض التحديثات الكبرى أو المخصصة هنا.

الوضع الحالي

 * 2020-06-22: التفكير الأوّلي حول إنجاز خوارزمية بسيطة للصور الموصى باستخدامها
 * 2020-09-08: تقييم المحاولة الأولى باللغات الإنكليزية والفرنسية والعربية والكورية والتشيكية والفيتنامية
 * 2020-09-30: تقييم المحاولة الثانية عند خوارزمية تطابق بالإنكليزية والفرنسية والعربية والكورية والتشيكية والفيتنامية
 * 2020-10-26: نقاش داخلي بين المهندسين حول جدوى خدمة الصور الموصى بها
 * 2020-12-15: إجراء جولة أولى من اختبارات المستخدمين للبدء بفهم ما إذا كان الوافدون الجدد قد ينجحون في هذه المهمة
 * 2021-01-20: يبدأ فريق هندسة النظام الأساسي في إنشاء واجهة برمجة تطبيقات لإثبات المفهوم لتوصيات الصور
 * 2021-01-21: يبدأ فريق الاندرويد العمل على الحد الأدنى من الإصدار القابل للتطبيق لأغراض التعلم
 * 2021-01-28: تم نشر نتائج اختبار المستخدم

ملخص
الهدف من المهام المهيكلة هو تقسيم مهام التحرير إلى مسارات عمل خطوة بخطوة من شأنها أن تناسب الوافدين الجدد وان تناسب الأجهزة المحمولة. يعتقد فريق النمو أنّ تقديم هذه الشاكلة من مسارات العمل سيخوّل عدد أكبر من الأشخاص من البَدْء بالمساهمة في ويكيبيديا، بعضهم سيتعلّم القيام بتعديلات جوهريّة والانخراط مع مجتمعاتهم. بعد النقاش حول المهام المهيكلة مع المجتمعات، قرّرنا إنشاء المهمّة المهيكلة الأولى: «إضافة وصلة».

خلال إنشائنا لتلك المهمة الأولى، كان تفكيرنا في المهمة الموالية التي يمكن أن تكون، ونحن نعتقد أن إضافة الصور يمكن أن تكون مناسبة جدا للوافدين الجدد. تكمن الفكرة في خوارزمية بسيطة تستطيع توصية وضع صور ورسومات من كومنو في مقالات لا تحمل أي صور. بادئا، ستقوم فقط باستخدام الروابط الموجودة التي يمكن العثور عليها في ويكي بيانات، وسيتمكّن الوافدون الجدد من استخدام تقديرهم الخاص لوضع الصورة في المقالة أو لا.

نعلم أنّه هنالك العديد من الأسئلة المفتوحة حول كيفية القيام بهذا، العديد من الأسباب الكامنة حول إمكانية سلوك طريق خاطئة. لذلك سنستمع إلى آراء أفراد المجتمع وسنجري محادثات مواكبة لكيفية تعاملنا مع طريقة العمل.

لماذا الصور؟
البحث عن المساهمات الثرية

عندما ناقشنا لأول مرة المهام المنظمة مع أعضاء المجتمع، أشار الكثيرون إلى أن إضافة روابط ويكي ليس نوعًا عالي القيمة من التحرير بشكل خاص. طرح أعضاء المجتمع أفكارًا حول كيفية قيام القادمين الجدد بتقديم المزيد من المساهمات الجوهرية. أحد الأفكار كان إضافة الصور. تحتوي ويكيميديا كومنز على 65 مليون صورة، ولكن في العديد من الويكيات، أكثر من 50% من المقالات لا تحتوي على صور. نعتقد أن العديد من الصور من كومنز يمكن أن تجعل ويكيبيديا أكثر وضوحًا بشكل كبير.

الاهتمام من الوافدين الجدد

نعلم أن العديد من الوافدين الجدد مهتمون بإضافة الصور إلى ويكيبيديا. «إضافة صورة» هو رد شائع يقدمه القادمون الجدد في استطلاع الترحيب عن سبب إنشائهم لحسابهم. نرى أيضًا أن أكثر أسئلة لوحة المساعدة شيوعًا يتعلق بكيفية إضافة الصور، وهذا صحيح عبر جميع مواقع الويكي التي نعمل معها. على الرغم من أن معظم هؤلاء الوافدين الجدد ربما يجلبون صورتهم الخاصة التي يريدون إضافتها، فإن هذا يلمح إلى كيف يمكن أن تكون الصور جذابة ومثيرة. وهذا أمر منطقي، بالنظر إلى العناصر الأخرى للصور للمنصات الأخرى التي يشارك فيها القادمون الجدد -- أشياء مثل انستجرام وفيسبوك.

صعوبة التعامل مع الصور

تعكس أسئلة طلبات المساعدة العديدة حول الصور أن عملية إضافتها إلى المقالات صعبة للغاية. يجب على الوافدين الجدد فهم الفرق بين ويكيبيديا وكومنز، والقواعد المتعلقة بحقوق النشر، والأجزاء الفنية لإدراج الصورة والتعليقات في المكان المناسب. يتطلب العثور على صورة في كومنز لمقال ما مزيدًا من المهارات، مثل المعرفة بويكي بيانات والتصنيفات.

نجاح حملة «صفحات ويكيبيديا بحاجة لصور»

كان لـحملة صفحات ويكيبيديا بحاجة لصور(WPWP) نجاح غير منتظر: أضاف 600 مستخدم 85.000 صورة إلى صفحات. قاموا بذلك بمساعدة بعض أدوات المجتمع التي قامت بتشخيص الصفحات التي ليس لها صور، والتي اقترحوا لها صورا محتملة عبر ويكي بيانات. في حين أن هناك دروسًا مهمة يجب تعلمها حول كيفية مساعدة الوافدين الجدد على النجاح في إضافة الصور، فإن هذا يمنحنا الثقة في أن المستخدمين يمكن أن يكونوا متحمسين لإضافة الصور وأنه يمكن مساعدتهم بالأدوات.

باعتبار كلّ ما سبق ذكره

بالتفكير في كل هذه المعلومات معا، نعتقد أنّه من الممكن بناء المهمّة المهيكلة «إضافة صورة» التي ستكون مروّحة للوافدين الجدد وفي الآن نفسه بنّاءة لويكيبيديا.

الخوارزمية
تعتمد قابليتنا لإنشاء مهمّة مهيكلة تُعنى بإضافة الصور إلى ما إذا استطعنا إنشاء خوارزمية تولّد توصيات جيّدة بما فيه الكفاية. قطعا، لا نريد مطالبة الوافدين الجدد بإضافات سريعة لصور خاطئة للمقالات، التي يمكن أن تجبر المحرّرين أن يقوموا بالتنظيف وراءهم. وبالتالي، سيكون محاولة إنشاء خوارزمية جيّدة، من أوّل الأمور التي سنشتغل عليها.

المنطق
اشتغلنا مع فريق البحث لويكيميديا، وإلى حدّ الآن، تمكنا من تجربة خوارزمية التي تفضّل التطابق والحكم البشري. بالنأي عن استخدام أيّة رؤية حاسوبية، التي يمكن أن تولّد نتائج غير منتظرة، ببساطة هي تجمّع معلومات من ويكي بيانات، بالاعتماد على الاتصالات التي أجراها المساهمون المتمرسون. في ما يلي الطرق الرئيسة الثلاث التي تُقترح بها المطابقات مع المقالات التي لا تحتوي صورا:


 * النظر إلى عنصر ويكي بيانات للمقال. لو كانت لديه صورة (P18)، اختيار تلك الصورة.
 * النظر إلى عنصر ويكي بيانات للمقال. إذا كان له تصنيف في كومنز (P373)، اختيار صورة من التصنيف.
 * النظر إلى المقالات التي تتناول نفس الموضوع بلغة أخرى في ويكيبيديا. اختيار الصورة الرئيسية من تلك المقالات.

تتضمن الخوارزمية أيضًا منطقًا للقيام بأشياء مثل استبعاد الصور التي من المحتمل أن تكون رموزًا أو الموجودة في مقالة كجزء من صندوق التصفح.

الأداء
اعتبارًا من ديسمبر 2020، مررنا بجولتين من اختبار الخوارزمية، في كل مرة نبحث في التطابقات مع المقالات بست لغات: الإنجليزية والفرنسية والعربية والفيتنامية والتشيكية والكورية. تم إجراء التقييمات من قبل سفراء فريقنا، وهم متحدثون أصليون لكل لغة. بالنظر إلى 50 تطابقًا في كل لغة، استعرضناها وصنفناها في هذه المجموعات:

السؤال الذي يدور حول العمل على خوارزمية مثل هذه هو: ما مدى الدقة التي يجب أن تكون؟ إذا كانت 75% من التطابقات جيدة، فهل هذا كافٍ؟ هل يجب أن تكون دقيقة بنسبة 90%؟ أو يمكن أن تكون دقيقة بنسبة 50%؟ هذا يعتمد على مدى جودة الحكم على الوافدين الجدد الذين يستخدمونها، ومقدار الصبر الذي لديهم للتطابقات الضعيفة. سنتعلم المزيد عن هذا عندما نختبر الخوارزمية مع مستخدمين جدد حقيقيين.

في التقييم الأول، كان الشيء الأكثر أهمية هو أننا وجدنا الكثير من التحسينات السهلة لإدخالها على الخوارزمية، بما في ذلك أنواع المقالات والصور التي يجب استبعادها. حتى بدون هذه التحسينات، كان حوالي 20-40% من التطابقات «2s»، مما يعني تطابقًا جيدا مع المقالة (حسب الويكي). يمكنكم مشاهدة النتائج الكاملة والملاحظات من التقييم الأول هنا.

في التقييم الثاني، تم إدخال العديد من التحسينات، وزادت الدقة. بين 50-70% من التطابقات كانت "2s" (حسب الويكي). لكن زيادة الدقة يمكن أن تقلل من التغطية، أي عدد المقالات التي يمكننا إجراء مطابقات لها. باستخدام معايير متحفظة، قد تكون الخوارزمية قادرة فقط على اقتراح عشرات الآلاف من التطابقات في ويكي معين، حتى لو كان هذا الويكي يحتوي على مئات الآلاف أو ملايين المقالات. نعتقد أن هذا الحجم سيكون كافيًا لإنشاء نسخة أولية من هذه الميزة. يمكنكم مشاهدة النتائج الكاملة والملاحظات من التقييم الثاني هنا.

نحن مستمرون في إجراء تحسينات على الخوارزمية، وفي ديسمبر 2020، نحاول إجراء تقييم ثالث، يمكنكم متابعته هنا.

أسئلة مفتوحة
الصور جزء مهم ومرئي من تجربة ويكيبيديا. من الأهمية بمكان أن نفكر مليًا في كيفية عمل ميزة تتيح الإضافة السهلة للصور، وما هي المخاطر المحتملة، وما هي الآثار المترتبة على أعضاء المجتمع. لتحقيق هذه الغاية، لدينا العديد من الأسئلة المفتوحة، ونريد أن نسمع المزيد من الأسئلة التي يمكن لأعضاء المجتمع طرحها.


 * هل ستكون الخوارزمية الخاصة بنا دقيقة بما فيه الكفاية بحيث يتم توفير الكثير من التطابقات الجيدة؟
 * ما هي البيانات الوصفية من كومنز والمقال غير المحسَّن التي يحتاجها الوافدون الجدد لاتخاذ قرار بشأن إضافة الصورة؟
 * هل يتمتع الوافدون الجدد بحكم جيد بما فيه الكفاية عند النظر في التوصيات؟
 * هل سيتمكن الوافدون الجدد الذين لا يقرؤون اللغة الإنجليزية من اتخاذ قرارات جيدة، بالنظر إلى أن الكثير من البيانات الوصفية العامة مكتوبة باللغة الإنجليزية؟
 * هل سيتمكن الوافدون الجدد من كتابة أوصاف جيدة لتتماشى مع الصور التي يضعونها في المقالات؟
 * إلى أي مدى يجب على الوافدين الجدد الحكم على الصور بناءً على «جودتها» مقابل «ملاءمتها»؟
 * هل سيعتقد الوافدون الجدد أن هذه المهمة ممتعة؟ مرحة؟ صعبة؟ سهلة؟ مملة؟
 * كيف نحدد بالضبط المقالات التي لا تحتوي على صور؟
 * أين يجب أن توضع الصورة في المقالة؟ هل يكفي وضعها في أعلى المقال؟
 * كيف يمكننا أن نضع في اعتبارنا التحيز المحتمل في التوصيات، أي ربما تقوم الخوارزمية بإجراء العديد من التطابقات لمواضيع في أوروبا وأمريكا الشمالية.
 * هل سيكون هذا النوع من سير العمل ناقلا للتخريب؟ كيف يمكننا تفادي ذلك؟

التحقق من صحة الفكرة


بالتفكير في الأسئلة المفتوحة أعلاه، بالإضافة إلى مدخلات المجتمع، نريد إنشاء بعض المعلومات الكمية والنوعية لمساعدتنا في تقييم جدوى بناء ميزة "إضافة صورة". على الرغم من أننا قمنا بتقييم الخوارزمية بين الموظفين ومستخدمي ويكيميديا، فمن المهم أن نرى كيف يتفاعل الوافدون الجدد معها، ونرى كيف يستخدمون حكمهم عند اتخاذ قرار بشأن ما إذا كانت الصورة تنتمي إلى مقال.

لحقيق لهذه الغاية، سنجري اختبارات مع usertesting.com، حيث يمكن للأشخاص الجدد في تحرير ويكيبيديا المرور عبر تطابقات الصور المحتملة في نموذج أولي والرد بـ «نعم» أو «لا» أو «غير متأكد». قمنا ببناء نموذج أولي سريع للاختبار، مدعومًا بتطابقات حقيقية من الخوارزمية الحالية. يعرض النموذج الأولي تطابقا واحدا فقط تلو الآخر، كل ذلك في مسار واحد. يتم عرض الصور مع جميع البيانات الوصفية ذات الصلة من كومنز:


 * اسم الملف
 * الحجم
 * التاريخ
 * المستخدم
 * الوصف
 * التعليق
 * التصنيفات
 * الوسوم

على الرغم من أن هذا قد لا يكون نفس ما سيكون عليه سير العمل بالنسبة للمستخدمين الحقيقيين في المستقبل، فقد تم إنشاء النموذج الأولي بحيث يمكن للمختبرين إجراء الكثير من التطابقات المحتملة بسرعة، مما ينتج عنه الكثير من المعلومات.

لتجربة النموذج الأولي التفاعلي، استخدموا هذا الرابط. لاحظوا أن هذا النموذج الأولي مخصص بشكل أساسي لعرض التطابقات من الخوارزمية -- لم نفكر بعد مليًا في تجربة المستخدم الفعلية. لا يقوم في الواقع بإنشاء أي تعديلات. يحتوي على 60 تطابقًا حقيقيًا اقترحته الخوارزمية.

إليكم ما سنبحث عنه في الاختبار:


 * 1) هل المشاركون قادرون على تأكيد التطابقات بثقة بناءً على الاقتراحات والبيانات المقدمة؟
 * 2) ما مدى دقة المشاركين في تقييم الاقتراحات؟ هل يعتقدون أنهم يقومون بعمل أفضل أم أسوأ مما كانوا يقومون به؟
 * 3) كيف يشعر المشاركون حيال مهمة إضافة الصور إلى المقالات بهذه الطريقة؟ هل يجدونها سهلة/صعبة، مثيرة للاهتمام/مملة، مجزية/غير ذات صلة؟
 * 4) ما هي المعلومات التي يجدها المشاركون أكثر قيمة في مساعدتهم على تقييم تطابق الصور والمقالات؟
 * 5) هل يمكن للمشاركين أن يكتبوا تعليقات جيّدة للصور التي يعتقدون أنّها تتطابق مع البيانات المقدّمة؟

Concept A vs. B
In thinking about design for this task, we have a similar question as we faced for "add a link" with respect to Concept A and Concept B. In Concept A, users would complete the edit at the article, while in Concept B, they would do many edits in a row all from a feed. Concept A gives the user more context for the article and editing, while Concept B prioritizes efficiency.

In the interactive prototype above, we used Concept B, in which the users proceed through a feed of suggestions. We did that because in our user tests we wanted to see many examples of users interacting with suggestions. That's the sort of design that might work best for a platform like the Wikipedia Android app. For the Growth team's context, we're thinking more along the lines of Concept A, in which the user does the edit at the article. That's the direction we chose for "add a link", and we think that it could be appropriate for "add an image" for the same reasons.

Single vs. Multiple
Another important design question is whether to show the user a single proposed image match, or give them multiple images matches to choose from. When giving multiple matches, there's a greater chance that one of the matches is a good one. But it also may make users think they should choose one of them, even if none of them are good. It will also be a more complicated experience to design and build, especially for mobile devices. We have mocked up three potential workflows:


 * Single: in this design, the user is given only one proposed image match for the article, and they only have to accept or reject it. It is simple for the user.
 * Multiple: this design shows the user multiple potential matches, and they could compare them and choose the best one, or reject all of them. A concern would be if the user feels like they should add the best one to the article, even if it doesn't really belong.
 * Serial: this design offers multiple image matches, but the user looks at them one at a time, records a judgment, and then chooses a best one at the end if they indicated that more than one might match. This might help the user focus on one image at a time, but adds an extra step at the end.



User tests December 2020
Background

During December 2020, we used usertesting.com to conduct 15 tests of the mobile interactive prototype. The prototype contained only a rudimentary design, little context or onboarding, and was tested only in English with users who had little or no previous Wikipedia editing experience. We deliberately tested a rudimentary design earlier in the process so that we could gather lots of learnings. The primary questions we wanted to address with this test were around feasibility of the feature as a whole, not around the finer points of design:


 * 1) Are participants able to confidently confirm matches based on the suggestions and data provided?
 * 2) How accurate are participants at evaluating suggestions? And how does the actual aptitude compare to their perceived ability in evaluating suggestions?
 * 3) How do participants feel about the task of adding images to articles this way? Do they find it easy/hard, interesting/boring, rewarding/irrelevant?
 * 4) What metadata do participants find most valuable in helping them evaluate image and article matches?
 * 5) Are participants able to write good captions for images they deem a match using the data provided?

In the test, we asked participants to annotate at least 20 article-image matches while talking out loud. When they tapped yes, the prototype asked them to write a caption to go along with the image in the article. Overall, we gathered 399 annotations.

Summary

We think that these user tests confirm that we could successfully build an "add an image" feature, but it will only work if we design it right. Many of the testers understood the task well, took it seriously, and made good decisions -- this gives us confidence that this is an idea worth pursuing. On the other hand, many other users were confused about the point of the task, did not evaluate as critically, and made weak decisions -- but for those confused users, it was easy for us to see ways to improve the design to give them the appropriate context and convey the seriousness of the task.

Observations

''To see the full set of findings, feel free to browse the slides. The most important points are written below the slides.''
 * General understanding of the task matching images to Wikipedia articles was reasonably good, given the minimal context provided for the tool and limited knowledge of Commons and Wikipedia editing. There are opportunities to boost understanding once the tool is redesigned in a Wikipedia UX.
 * The general pattern we noticed was: a user would look at an article's title and first couple sentences, then look at the image to see if it could plausibly match (e.g. this is an article about a church and this is an image of a church). Then they would look for the article's title somewhere in the image metadata, either in the filename, description, caption, or categories.  If they found it, they would confirm the match.
 * Each image matching task could be done quickly by someone unfamiliar with editing. On average, it took 34 seconds to review an image.
 * All said they would be interested in doing such a task, with a majority rating it as easy or very easy.
 * Perceived quality of the images and suggestions was mixed. Many participants focused on the image composition and other aesthetic factors, which affected their perception of the suggestion accuracy.
 * Only a few pieces of image metadata from Commons were critical for image matching: filename, description, caption, categories.
 * Many participants would, at times, incorrectly try to match an images to its own data, rather than to the article (e.g. "Does this filename seem right for the image?"). Layout and visual hierarchy changes to better focus on the article context for the image suggested should be explored.
 * “Streaks” of good matches made some participants more complacent with accepting more images -- if many in a row were "Yes", they stopped evaluating as critically.
 * Users did a poor job of adding captions. They frequently would write their explanation for why they matched the image, e.g. "This is a high quality photo of the guy in the article." This is something we believe can be improved with design and explanation for the user.

Metrics


 * Members of our team annotated all the image matches that were shown to users in the test, and we recorded the answers the users gave. In this way, we developed some statistics on how good of a job the users did.
 * Of the 399 suggestions users encountered, they tapped "Yes" 192 times (48%).
 * Of those, 33 were not good matches, and might be reverted were they to be added to articles in reality. This is 17%, and we call this the "likely revert rate".

Takeaways


 * The "likely revert rate" of 17% is a really important number, and we want this to be as low as possible. On the one hand, this number is close to or lower than the average revert rate for newcomer edits in Wikipedia (English is 36%, Arabic is 26%, French is 22%, Vietnamese is 11%).  On the other hand, images are higher impact and higher visibility than small changes or words in an article.  Taking into account the kinds of changes we would make to the workflow we tested (which was optimized for volume, not quality), we think that this revert rate would come down significantly.
 * We think that this task would work much better in a workflow that takes the user to the full article, as opposed to quickly shows them one suggestion after another in the feed. By taking them to the full article, the user would see much more context to decide if the image matches and see where it would go in the article.  We think they would absorb the importance of the task: that they will actually be adding an image to a Wikipedia article.  Rather than going for speed, we think the user would be more careful when adding images.  This is the same decision we came to for "add a link" when we decided to build the "Concept A" workflow.
 * We also think outcomes will be improved with onboarding, explanation, and examples. This is especially true for captions.  We think if we show users some examples of good captions, they'll realize how to write them appropriately.  We could also prompt them to use the Commons description or caption as a starting point.
 * Our team has lately been discussing whether it would be better to adopt a "collaborative decision" framework, in which an image would not be added to an article until two users confirm it, rather than just one. This would increase the accuracy, but raises questions around whether such a workflow aligns with Wikipedia values, and which user gets credit for the edit.

Android MVP
After lots of community discussion, many internal discussions, and the user test results from above, we believe that this "add an image" idea has enough potential to continue to pursue. Community members have been generally positive, but also cautionary -- we also know that there are still many concerns and reasons the idea might not work as expected. The next step we want to in order to learn more is to build a "minimum viable product" (MVP) for the Wikipedia Android app. The most important thing about this MVP is that it will not save any edits to Wikipedia. Rather, it will only be used to gather data, improve our algorithm, and improve our design.

The Android app is where "suggested edits" originated, and that team has a framework to build new task types easily. These are the main pieces:


 * The app will have a new task type that users know is only for helping us improve our algorithms and designs.
 * It will show users image matches, and they will select "Yes", "No", or "Skip".
 * We'll record the data on their selections to improve the algorithm, determine how to improve the interface, and think about what might be appropriate for the Growth team to build for the web platform later on.
 * No edits will happen to Wikipedia, making this a very low-risk project.

The Android team will be working on this in February and March 2021, hopefully allowing the Growth team to begin learning quickly.

Engineering
This section contains links on how to follow along with technical aspects of this project:


 * Work on the "proof of concept" API by the Platform Engineering team, built to back the Android MVP
 * Phabricator tasks around the Android team's MVP
 * Phabricator tasks and evaluations of the image matching algorithm