Moderator Tools/Automoderator
|
Automoderator
|
L'équipe Moderator Tools travaille actuellement sur un projet concernant l'élaboration d'un outil d'automodération pour les projets Wikimedia, Il permettra aux modérateurs de configurer la prévention ou la réversion automatique des mauvaises modifications en fonction du score d'un modèle d'apprentissage automatique. En termes plus simples, nous construisons un logiciel qui remplit une fonction similaire à celle des robots luttant contre le vandalisme tels que ClueBot NG, SeroBOT, Dexbot et Salebot, et disponible pour toutes les communautés linguistiques. Une extension MediaWiki est maintenant en développement - Extension:AutoModerator.
This work was part of our FY23/24 annual plan under the following hypothesis: Notre hypothèse est que si nous permettons aux communautés de prévenir et annuler le vandalisme évident, les modérateurs auront plus de temps à consacrer aux autres activités.
We will continue our work in FY24/25 under hypothesis WE1.3.1: If we enable additional customization of Automoderator's behavior and make changes based on pilot project feedback in Q1, more moderators will be satisfied with its feature set and reliability, and will opt to use it on their Wikimedia project, thereby increasing adoption of the product.
Communities can volunteer to get Automoderator added to their Wikipedia.
Mises à jour précédentes
- juin 2024: Turkish Wikipedia starts using Automoderator.
- février 2024: Des maquettes ont été postées pour la version initiale des pages d'accueil et de configuration. Les idées et suggestions sont les bienvenues !
- février 2024: Nous avons mis à disposition les résultats initiaux de notre processus de test.
- octobre 2023: Nous recherchons des entrées et des commentaires sur notre plan de mesures pour décider des données à utiliser pour évaluer le succès de ce projet et pouvoir récupérer les données de test à l'entrée de la prise de décision de l'Automoderator.
- août 2023: Nous avons récemment présenté ce projet au Wikimania ainsi que d'autres projets axés sur la modération. Voir l'enregistrement de la session.
Motivation
Un nombre important de modifications sont effectuées sur les projets Wikimedia qui pourraient être annulées sans ambiguïté, en ramenant les pages à leur état précédent. Les patrouilleurs et les administrateurs doivent passer beaucoup de temps à examiner et à réviser manuellement ces modifications, ce qui contribue à donner la perception sur de nombreux wikis plus grands qu'il y a une quantité écrasante de travail qui nécessite l'attention, par rapport au nombre de modérateurs actifs. Nous souhaitons réduire ces surcharges et ainsi libérer du temps pour que les modérateurs puissent travailler sur d'autres tâches.
De nombreux sites web communautaires en ligne, y compris Reddit, Twitch et Discord, fournissent une fonctionnalité de « modération automatique », par laquelle les modérateurs communautaires peuvent mettre en place un mélange d'actions de modération automatiques spécifiques et algorithmiques. Sur Wikipedia, AbuseFilter fournit une fonctionnalité spécifique basée sur des règles, mais cela peut être frustrant lorsque les modérateurs doivent par exemple définir laborieusement une expression régulière pour chaque variante d'un juron. C'est également complexe et facile à casser, ce qui fait que de nombreuses communautés évitent de l'utiliser. Au moins une douzaine de communautés ont des robots anti-vandalisme, mais ceux-ci sont maintenus par la communauté, ce qui nécessite une expertise technique locale et disposant généralement de configurations opaques. Ces robots sont également largement basés sur le modèle de destruction de ORES qui n'a pas été entraîné depuis longtemps et qui a un support linguistique limité.
Buts
- Réduire la liste des tâches de modération en empêchant les mauvaises modifications d'arriver dans les files d'attente des patrouilleurs.
- Convaincre les modérateurs que l'automodération est fiable et qu'elle ne fournit pas de faux positifs.
- S'assurer que les éditeurs concernés par un faux positif ont clairement le choix entre valider l'erreur ou voir leur modificaltion reinstallée.
- Y a-t-il d'autres points à prendre en considération ?
Recherche d'architecture
Nous nous sommes investis dans un processus complet de recherche de conception pour établir une base solide à l'outil de configuration Automoderator. Notre approche est centrée sur la formulation de principes de conception essentiels pour concevoir une interface de configuration intuitive et conviviale.
Nous avons examiné les technologies existantes et les meilleures pratiques et ce processus est connu sous le nom de recherche de bureau. Cela nous a permis d'acquérir des informations précieuses sur les tendances actuelles, les pièges potentiels et les modèles à succès dans le domaine de la modération de contenu automatisée. Nous avons donné la priorité à la compréhension des implications éthiques de l'interaction homme-machine et nous nous sommes concentrés sur les pratiques de conception responsables pour assurer une expérience utilisateur positive et compréhensible. Nous avons affiné les principes de conception qui donnent la priorité à la transparence, à l'autonomisation des utilisateurs et aux considérations éthiques.
Modèle
Ce projet mettra à profit les nouveaux modèles de risque de réversion développés par l'équipe de recherche de la Fondation Wikimedia. Il existe deux versions pour ce modèle :
- Un modèle multilingue couvrant 47 langues.
- Un modèle qui ne dépend pas de la langue.
Ces modèles peuvent calculer un score pour chaque révision indiquant la probabilité que l'édition soit annulée. Nous envisageons de fournir aux communautés un moyen de fixer un seuil pour ce score, au-dessus duquel les modifications seraient automatiquement empêchées ou inversées.
Les modèles ne prennent en charge actuellement que Wikipedia, mais pourraient être entraînés sur d'autres projets Wikimedia. Actuellement, ils ne sont uniquement entraînés que sur les articles de l'espace de noms principal. Une fois déployé, nous pourrions re-entraîner le modèle en continu, car les faux positifs seront signalés par la communauté.
Avant de poursuivre ce projet, nous aimerions offrir des occasions pour tester le modèle sur des modifications récentes, afin que les patrouilleurs puissent comprendre à quel point le modèle est précis et pour qu'ils se sentent confiants dans son utilisation telle que nous la proposons.
- Vous avez des remarques à propos de ces modèles ?
- Quel pourcentage d'annulations de faux positifs serait le maximum que vous ou votre communauté pourriez accepter ?
Solution potentielle
Nous envisageons un outil qui pourrait être configuré par les modérateurs des communautés pour empêcher ou annuler automatiquement les modifications. Le scénario le plus probable est l'annulation des modifications - empêcher une modification nécessite des performances élevées afin de ne pas perturber le temps d'enregistrement des modifications. De plus, il permet de moins surveiller les modifications rejetées, ce qui n'est pas forcément souhaité, en particulier en ce qui concerne les faux positifs. Les modérateurs doivent pouvoir configurer si l'outil est actif ou non, avoir des options pour contrôler le caractère strict du modèle, déterminer le nom d'utilisateur localisé et modifier le résumé utilisé, etc.
Des seuils plus bas signifieraient que plus de modifications seraient annulées, mais le taux de faux positifs est plus élevé, tandis qu'un seuil plus élevé annulerait un nombre plus faible de modifications, mais avec une plus grande confiance.
Bien que la forme exacte de ce projet soit encore en cours d'exploration, voici quelques idées de fonctionnalités que nous examinons, au-delà des bases de la prévention ou de l'annulation des modifications qui répondent à un seuil de risque d'annulation.
Tests
Si les communautés ont des options pour agir sur le caractère strict de l'automodérateur, nous devons fournir un moyen de tester ces seuils à l'avance. Cela pourrait ressembler à la fonctionnalité de test de AbuseFilter, par laquelle les modifications récentes peuvent être vérifiées avec l'outil pour comprendre quelles modifications auraient été annulées à un seuil donné.
- Quelle importance a pour vous ce type de test de fonctionnalité ? Y a-t-il des tests de fonctionnalité que vous trouveriez particulièrement utiles ?
Configuration de la communauté
Un aspect central de ce projet sera de donner aux modérateurs des options de configuration claires pour paramétrer l'automodérateur et l'adapter aux besoins de leur communauté. Au lieu d'annuler simplement toutes les modifications qui atteignent un seuil, nous pourrions, par exemple, fournir des filtres non applicables sur les éditeurs de certains groupes d'utilisateurs, ou pour exclure certaines pages.
- De quelles options de configuration pensez-vous avoir besoin avant d'utiliser ce logiciel ?
Remontée des faux positifs
Les modèles d'apprentissage automatique ne sont pas parfaits, et donc nous devrions nous attendre à ce qu'il y ait un nombre non nul d'annulations dues aux faux positifs. Deux choses au moins sont à considérer ici : le processus pour un utilisateur de signaler que son édition a été annulée à tord afin qu'elle puisse être rétablie, et proposer un mécanisme aux communautés pour qu'elles fournissent leurs commentaires sur le modèle au fil du temps, afin qu'on puisse le réentrainer.
Le modèle est plus sensible aux modifications apportées par les nouveaux utilisateurs et les utilisateurs non-enregistrés, car c'est de là que vient la plupart des vandalismes. Nous ne voulons pas que cet outil ait un impact négatif sur l'expérience des nouveaux utilisateurs de bonne foi, nous devons donc proposer des principes clairs pour permettre aux nouveaux utilisateurs de comprendre que leur modification a été annulée, et être en mesure de la réinstaller. Ceci doit être contrebalancé par le fait de ne pas fournir de facilités aux vandales pour défaire le travail de l'outil.
Bien que ces modèles aient été entraînés sur une grande quantité de données, les rapports faux positifs des éditeurs peuvent fournir un ensemble de données précieux pour le réentrainement continu du modèle. Nous devons trouver comment permettre aux éditeurs expérimentés de renvoyer les données faussement positives au modèle afin qu'il puisse s'améliorer au fil du temps.
- Comment pouvons-nous fournir des informations claires et des actions aux contributeurs côté récepteur d'un faux positif, de manière inabusable par des vandales ?
- Quelles sont vos remarques à propos des faux positifs ?
Maquettes
Nos plans actuels pour Automoderator concernent les composants d'interface utilisateur décrits ci-après.
Page d'accueil
-
Page d'accueil.
Une page d'accueil avec des informations sur Automoderator, un moyen d'appeler les décisions du robot et un lien pour configurer le robot.
Page de configuration
-
Page de configuration. -
Modifier la page de configuration. -
Enregistrer les modifications de la page de configuration.
C'est la page de configuration qui sera générée par la Configuration de la communauté. Dans le MVP (minimum viable product), les administrateurs seront en mesure d'activer ou de désactiver Automoderator, de configurer son seuil (c'est-à-dire comment il devrait se comporter) et de personnaliser le résumé des modifications par défaut ainsi que son nom d'utilisateur. Nous prévoyons d'ajouter plus d'options de configuration au fil du temps en réponse aux commentaires. Dès que la page est enregistrée, Automoderator sera immédiatement exécuté si l'utilisateur l'a activé.
Autres questions ouvertes
- Si votre communauté utilise un robot anti-vandalisme maintenu par un bénévole, que pensez-vous de l'expérience retirée ? Quel serait votre sentiment si le fonctionnement s'arrêtait ?
- Pensez-vous que votre communauté l'utiliserait ? Quelle serait son intégration dans vos autres flux de travail et vos outils ?
- Quel(s) point(s) devrions nous prendre en compte et que nous n'avons pas documenté(s) ci-dessus ?