أدوات المشرف/المشرف الآلي
|
Automoderator
|
يقوم فريق Moderator Tools باستكشاف مشروع لبناء أداة "مشرف آلي" لمشاريع ويكيميديا. سيسمح للمشرفين بتكوين المنع الآلي أو التراجع عن التعديلات السيئة بناءً على التسجيل من نموذج التعلم الآلي. بعبارات أبسط، نحن نتطلع إلى إنشاء برنامج يؤدي وظيفة مشابهة لروبوتات مكافحة التخريب مثل ClueBot NG وSeroBOT وDexbot، ولكن مع جعل هذا متاحًا لجميع المجتمعات اللغوية. A MediaWiki extension is now under development - Extension:AutoModerator.
'فرضيتنا هي: إذا قمنا بتمكين المجتمعات من منع أو عكس التخريب الواضح تلقائيًا، فسيكون لدى المشرفين المزيد من الوقت لقضائه في الأنشطة الأخرى.
سنقوم بالبحث واستكشاف هذه الفكرة خلال الفترة المتبقية من عام 2023، ونتوقع أن نكون قادرين على بدء العمل الهندسي بحلول بداية العام التقويمي 2024.
آخر تحديث " (أكتوبر 2023) ": Designs have been posted for the initial version of the landing and configuration pages. Thoughts and suggestions welcome!
التحديثات السابقة
- فبراير 2024: We have posted initial results from our testing process.
- أكتوبر 2023: نحن نبحث عن مدخلات وتعليقات حول خطة القياس، لتحديد البيانات التي يجب أن نستخدمها لتقييم نجاح هذا المشروع، وقمنا بإجراء الاختبار البيانات متاحة لتجميع المدخلات حول عملية صنع القرار لدى المشرف الآلي.
- أغسطس 2023: لقد قدمنا مؤخرًا هذا المشروع وغيره من المشاريع التي تركز على المشرفين في ويكيمانيا. يمكنك العثور على تسجيل الجلسة هنا.
الدافع
يتم إجراء عدد كبير من التعديلات على مشاريع ويكيميديا والتي يجب التراجع عنها بشكل لا لبس فيه، مما يعيد الصفحة إلى حالتها السابقة. يتعين على المراقبين والإداريين قضاء الكثير من الوقت في مراجعة هذه التعديلات وإعادتها يدويًا، مما يساهم في الشعور في العديد من مواقع الويكي الأكبر حجمًا بأن هناك قدرًا هائلاً من العمل الذي يتطلب الاهتمام مقارنة بعدد المشرفين النشطين. نرغب في تقليل هذه الأعباء، وتحرير وقت المشرف للعمل على مهام أخرى.
توفر العديد من مواقع المجتمع عبر الإنترنت، بما في ذلك Reddit وTwitch وDiscord، وظيفة "الإشراف التلقائي"، حيث يمكن لمشرفي المجتمع إعداد مزيج من إجراءات الإشراف الآلي المحددة والخوارزمية. في ويكيبيديا، يوفر AbuseFilter وظائف محددة قائمة على القواعد، ولكن يمكن أن يكون محبطًا عندما يتعين على المشرفين، على سبيل المثال، تحديد تعبير عادي بعناية شديدة لكل اختلاف إملائي لكلمة بذيئة. كما أنها معقدة وسهلة الكسر، مما يجعل العديد من المجتمعات تتجنب استخدامها. تمتلك ما لا يقل عن اثني عشر مجتمعًا روبوتات لمكافحة التخريب، ولكن يتم الحفاظ عليها من قبل المجتمع، وتتطلب خبرة فنية محلية وعادة ما تكون ذات تكوينات غير شفافة. تعتمد هذه الروبوتات أيضًا إلى حد كبير على نموذج ORES الضار، والذي لم يتم تدريبه منذ فترة طويلة ولديه دعم لغوي محدود.
الأهداف
- قم بتقليل تراكمات الإشراف عن طريق منع التعديلات السيئة من الدخول إلى قوائم انتظار الدوريات.
- امنح المشرفين الثقة في أن الإشراف التلقائي موثوق به ولا ينتج عنه نتائج إيجابية كاذبة كبيرة.
- تأكد من أن المحررين الذين تم اكتشافهم نتيجة إيجابية كاذبة لديهم طرق واضحة للإبلاغ عن الخطأ / إعادة التعديل الخاص بهم.
- هل هناك أهداف أخرى يجب أن نأخذها بعين الاعتبار؟
Design research
We delved into a comprehensive design research process to establish a strong foundation for the configuration tool for Automoderator. At the core of our approach is the formulation of essential design principles for shaping an intuitive and user-friendly configuration interface.
We looked at existing technologies and best practices and this process is known as desk research. This allowed us to gain valuable insights into current trends, potential pitfalls, and successful models within the realm of automated content moderation. We prioritized understanding the ethical implications of human-machine learning interaction, and focused on responsible design practices to ensure a positive and understandable user experience. We honed in on design principles that prioritize transparency, user empowerment, and ethical considerations.
نموذج
سيستفيد هذا المشروع من نماذج مخاطر العودة الجديدة التي طورها فريق Wikimedia Foundation Research. هناك نسختان من هذا النموذج:
- A multilingual model, with support for 47 languages.
- نموذج حيادي اللغة.
يمكن لهذه النماذج حساب درجة لكل مراجعة تشير إلى احتمالية التراجع عن التعديل. نحن نتصور تزويد المجتمعات بطريقة لتعيين حد لهذه النتيجة، والذي إذا تجاوزته سيتم منع التعديلات أو التراجع عنها تلقائيًا.
تدعم النماذج حاليًا ويكيبيديا فقط، ولكن يمكن تدريبها على مشاريع ويكيميديا الأخرى. بالإضافة إلى ذلك، يتم تدريبهم حاليًا فقط على مساحة الاسم الرئيسية (المقالة). بمجرد نشره، يمكننا إعادة تدريب النموذج بشكل مستمر حيث يتم الإبلاغ عن نتائج إيجابية كاذبة من قبل المجتمع.
قبل المضي قدمًا في هذا المشروع، نود توفير فرص لاختبار النموذج مقابل التعديلات الأخيرة، حتى يتمكن رجال الدوريات من فهم مدى دقة النموذج وما إذا كانوا يشعرون بالثقة في استخدامه بالطريقة التي نقترحها.
- هل لديك أي مخاوف بشأن هذه النماذج؟
- ما هي النسبة المئوية للنتائج الإيجابية الكاذبة التي ستكون الحد الأقصى الذي تقبله أنت أو مجتمعك؟
الحلّ المحتمل
نحن نتصور أداة يمكن تهيئتها بواسطة مشرفي المجتمع لمنع التعديلات أو التراجع عنها تلقائيًا. يعد التراجع عن التعديلات هو السيناريو الأكثر احتمالاً - حيث يتطلب منع التعديل أداءً عاليًا حتى لا يؤثر على أوقات حفظ التحرير. بالإضافة إلى ذلك، فهو يوفر قدرًا أقل من الإشراف على التعديلات التي يتم منعها، وهو ما قد لا يكون مرغوبًا فيه، خاصة فيما يتعلق بالإيجابيات الكاذبة. يجب أن يكون المشرفون قادرين على تكوين ما إذا كانت الأداة نشطة أم لا، وأن يكون لديهم خيارات لمدى صرامة النموذج، وتحديد اسم المستخدم المترجم وملخص التحرير المستخدم، والمزيد.
قد تعني الحدود المنخفضة التراجع عن المزيد من التعديلات، ولكن المعدل الإيجابي الكاذب أعلى، في حين أن الحد المرتفع سيؤدي إلى إرجاع عدد أقل من التعديلات، ولكن بثقة أعلى.
في حين أن الشكل الدقيق لهذا المشروع لا يزال قيد الاستكشاف، فيما يلي بعض أفكار الميزات التي ندرسها، بما يتجاوز أساسيات منع أو التراجع عن التعديلات التي تلبي عتبة خطر التراجع.
الاختبار
إذا كان لدى المجتمعات خيارات بشأن مدى الصرامة التي تريد أن يكون عليها المشرف الآلي، فنحن بحاجة إلى توفير طريقة لاختبار تلك الحدود مسبقًا. قد يبدو هذا مثل وظيفة اختبار AbuseFilter، حيث يمكن التحقق من التعديلات الأخيرة مقابل الأداة لفهم التعديلات التي كان من الممكن إعادتها عند حد معين.
- ما مدى أهمية هذا النوع من وظائف الاختبار بالنسبة لك؟ هل هناك أي ميزات اختبار قد تجدها مفيدة بشكل خاص؟
تكوين المجتمع
سيكون أحد الجوانب الأساسية لهذا المشروع هو منح المشرفين خيارات تكوين واضحة لإعداد المشرف الآلي وتخصيصه وفقًا لاحتياجات مجتمعهم. بدلاً من التراجع عن جميع التعديلات التي تفي بالحد الأدنى، يمكننا، على سبيل المثال، توفير مرشحات لعدم التشغيل على المحررين الذين لديهم مجموعات مستخدمين معينة، أو تجنب صفحات معينة.
- ما هي خيارات التكوين التي تعتقد أنك ستحتاجها قبل استخدام هذا البرنامج؟
الإبلاغ الإيجابي الكاذب
نماذج التعلم الآلي ليست مثالية، ولذلك يجب أن نتوقع أنه سيكون هناك عدد غير الصفر من النتائج الإيجابية الكاذبة. هناك شيئان على الأقل نحتاج إلى أخذهما في الاعتبار هنا: عملية قيام المستخدم بالإبلاغ عن أن تعديله قد تم التراجع عنه بشكل خاطئ حتى يمكن إعادته، وتوفير آلية للمجتمعات لتقديم تعليقات إلى النموذج بمرور الوقت حتى يمكن إعادة إعادته. -مدربين.
النموذج أكثر حساسية للتعديلات التي يجريها المستخدمون الجدد وغير المسجلين، حيث أن هذا هو المكان الذي تأتي منه معظم أعمال التخريب. لا نريد أن تؤثر هذه الأداة سلبًا على تجربة المستخدمين الجدد بحسن نية، لذلك نحتاج إلى إنشاء مسارات واضحة للمستخدمين الجدد لفهم أن تعديلهم قد تم التراجع عنه، وأن يكونوا قادرين على استعادته. ومع ذلك، يجب موازنة ذلك مع عدم توفير طرق سهلة للمخربين للتراجع عن عمل الأداة.
على الرغم من أن هذه النماذج قد تم تدريبها على كمية كبيرة من البيانات، إلا أن التقارير الإيجابية الكاذبة من قبل المحررين يمكن أن توفر مجموعة بيانات قيمة لإعادة التدريب المستمر للنموذج. نحتاج إلى معرفة كيفية تمكين المحررين ذوي الخبرة من إرسال بيانات إيجابية كاذبة مرة أخرى إلى النموذج حتى يتمكن من التحسن بمرور الوقت.
- كيف يمكننا تقديم معلومات وإجراءات واضحة للمحررين عند الطرف المتلقي لنتيجة إيجابية كاذبة، بطريقة لا يستغلها المخربون؟
- ما هي المخاوف التي لديك بشأن النتائج الإيجابية الكاذبة؟
Designs
Our current plans for Automoderator have two UI components:
-
Landing page.
A landing page with information about Automoderator, a way to appeal the bot’s decisions, and a link to configure the bot.
-
Configuration page. -
Making changes to the configuration page. -
Saving changes to the configuration page.
The configuration page, which will be generated by Community Configuration. In the MVP, admins will be able to turn Automoderator on or off, configure its threshold (i.e. how it should behave), and customize its default edit summary and username. We anticipate that we'll add more configuration options over time in response to feedback. Once the page is saved, if the user has turned Automoderator on, it will start running immediately.
أسئلة أخرى مفتوحة
- إذا كان مجتمعك يستخدم روبوتًا لمكافحة التخريب يديره متطوعون، فما هي تجربتك مع هذا الروبوت؟ ما هو شعورك إذا توقفت عن العمل؟
- هل تعتقد أن مجتمعك سيستخدم هذا؟ كيف تتناسب مع سير العمل والأدوات الأخرى لديك؟
- ما الذي يجب أن نعتبره أيضًا أننا لم نوثقه أعلاه؟