Jump to content

Applications Wikimédia/Équipe/Android/Anti-Vandalisme

From mediawiki.org
This page is a translated version of the page Wikimedia Apps/Team/Android/Anti Vandalism and the translation is 68% complete.

Contexte

L'équipe Android a reçu des demandes de diverses communautés linguistiques pour améliorer la qualité des modifications apportées à travers l'application. Les membres de la communauté ont demandé des outils de modération qui soient justes et impartiaux sur toutes les versions linguistiques de Wiki. L'équipe vise à améliorer les flux de travail existants tout en garantissant l'équité dans la modération, un exemple peut être trouvé dans la liste des souhaits de 2022.

Avec les mises à jour récentes de l'application, telles que la liste de souhaits native, l'historique des contributions et l'historique des modifications, ainsi que l'ajout du bouton d'annulation et de restauration sur l'écran de comparaison, il y a une opportunité de créer une solution de modération au sein de l'application. La solution s'appuiera sur les flux de travail de micro-contributions mobiles existantes.

L'équipe prévoit de développer un outil anti-vandalisme (V1) qui s'adresse aux modérateurs expérimentés dans toutes les langues. De plus, une tâche de formation sera introduite pour aider les rédacteurs expérimentés à apprendre à patrouiller s'ils ne l'ont pas fait auparavant. Cela se fera en étroite collaboration avec la communauté. L'équipe travaillera également avec l'équipe de recherche pour améliorer des outils comme ORES et collaborer avec l'équipe d'outils Moderator, qui aborde ce problème sur le mobile Web, afin d'assurer une expérience transparente pour les utilisateurs de plateformes intermédiaires.

Exigences du produit:

  • Les rédacteurs peuvent examiner les différences pour une variété de modifications.
  • Les éditeurs ont la possibilité d'« annuler » ou d'« ignorer » les modifications suggérées.
  • Les modifications récentes effectuées dans différentes langues peuvent être affichées.
  • Les rédacteurs peuvent créer et enregistrer des messages d'avertissement à utiliser lors de l'annulation des modifications.
  • Les rédacteurs expérimentés seront initiés aux patrouilles sur l'application dans une version ultérieure (V2).

Limitation technique

Actuellement, il n'est pas possible d'avoir plusieurs langues dans un seul flux, mais les utilisateurs auront la possibilité de changer entre les langues.

Hypothèse & Validation

Hypothèse et Suppositions

Nous pensons qu’il serait bénéfique de simplifier les tâches de patrouille et de les structurer en tâches de niveau avancé. Les rédacteurs expérimentés sans droits administrateur ou de révocation pourraient se voir attribuer des tâches de patrouille plus faciles ou une tâche de formation, et une fois qu'ils atteignent un seuil d'activités de patrouille initiales, ils peuvent être promus à des niveaux supérieurs. Pour y parvenir, nous prévoyons de commencer par une preuve de concept pour une patrouille générale des modifications basée sur les utilisateurs disposant de droits de révocation.

Nous comprenons que la patrouille des modifications récentes est une priorité et est plus adaptée aux mobiles que des tâches telles que NPP (patrouille de nouvelles pages), AFD (articles à supprimer), et AFC (articles à créer). De plus, nous espérons qu'il y aura un consensus communautaire sur la mise en œuvre d'une tâche de formation dans différentes langues.

Validation

  • Indicateur clé 1: 65% des publics cibles familiers avec l'outil le trouvent utile pour maintenir la qualité des wikis et le recommanderaient à d'autres patrouilleurs.
  • Indicateur clé 2: Augmentation de 5% des modifications effectuées par un public établi
  • Indicateur clé 3: 10% des audiences cibles établies interagissent avec les préférences de filtrage
  • Indicateur clé 4: 65% des publics cibles établis interagissent avec l'outil au moins trois fois sur une période de trente jours.
  • Garde-corps: Les utilisateurs expérimentés sans droits de révocation, qu'ils aient ou non utilisé des outils de patrouille alternatifs, doivent également comprendre le flux de travail.
  • Garde-corps: Il ne devrait y avoir aucun rapport indiquant que l'outil est utilisé pour cibler négativement du contenu ou des contributeurs sous-représentés sur la base des mécanismes de signalement intégrés à l'application.

Ce qu'il serait utile de savoir

  • Comment l'utilisation de notre outil se compare-t-elle à d'autres outils de patrouille en regardant les balises MediaWiki (SWViewer, Huggle et Twinkle)
  • Voyons-nous une augmentation des événements Undo/Rollback/Thank
  • Quelle est la popularité de cette tâche auprès de notre public cible par rapport à d'autres tâches de modification suggérées?
  • Quelles actions sont les plus populaires dans la fonctionnalité?

Gestion des risques

Risk Cause Level Response Response Action Trigger Contingency Plan
Tool causes a decrease in new editor retention on wikis where it's available Editors use the tool to increase the volume of edits they're able to revert, but do not leave talk page messages to explain the revert, leaving new editors confused and unmotivated. Medium Monitor Measure the retention rate of editors who had a revert from the patroller task. If they got a talk message, did that increase their retention? Qualitative complaints If a user has not left a talk page message after using undo or rollback and attempts to move to next edit, add a prompt asking/requiring them to leave a Talk Page message
Policy disagreements between existing patrollers and newer patrollers using Edit Patrol / New patrollers use the tool a way that confuses other patrollers. Behavior and/or communication from App patrollers is seen as insufficient or lacking by other patrollers. A new group of editors are able to start patrolling at scale using Edit Patrol, but they are not aware of existing policies or norms. Medium Mitigate Post updates, and invite to office hours patrolling groups (CVU, recent changes patrol, small wiki monitoring team, stewards, global sysops, global rollbackers) before full release. Share Example Messages with communities. Qualitative complaints from patrollers Add more policy and template onboarding to tool, and revisit Example Messages after Community Configuration 2.0 is released. Continue work on building training task.
An increase in edit wars Patrollers reviewing the same feed of edits go back and forth reverting each other's changes because revisions or rollbacks made in the tool appear in the feed for the next person (if no filters are applied). Low Accept - Qualitative complaints Add more onboarding about policies surrounding Edit Wars. Add in-app warning for edit-war behavior.
The tool is being used to negatively target underrepresented content or contributors. Patrollers are systematically reverting good faith edits for particular users or languages, harassing, or mistreating contributors through the tool. Low Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints, in-app reporting mechanisms, guardrail analysis by Product Analyst Add universal code of conduct onboarding to tool.
The tool causes an increase in vandalism, and increase in amount of work for existing patrollers Vandals use the streamlined interface to quickly revert or rollback large quantities of good faith edits. Low (Dormant) Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints and anomalies surfaced in data reporting Implement a maximum number of undos/rollbacks that can be done in a range of time.
Someone is exposed to vandalism or there is a copyright violation in Example Messages provided in-app A vandal has edited the Example Messages or pasted copyright material in using Community Configuration 2.0 or Translate.wiki, and they automatically appear in everyone's app Low (Dormant) Mitigate Once community configurable, ensure permissions are set for editing with Growth team. Qualitative complaints Inrease necessary permissions to edit Example Messages.

Comment suivre

Nous avons créé T322083 comme Phabricator Epic pour suivre ce travail. Nous vous invitons à collaborer avec nous sur cette tâche ou sur notre page de discussion.

Nous allons fournir des mises à jour périodiques sur cette page au fur et à mesure que nous progressons. Si vous souhaitez participer à nos sessions de commentaires modérées sur la conception, veuillez nous le faire savoir sur notre page de discussion, et nous suivrons avec vous.

Nous avons la stratégie de déploiement suivante:

Période 2023-2024 Consultation Disponible pour les révocateurs
octobre 2023 Wikipédia en indonésien
novembre 2023 Wikipédia en indonésien Wikipédia en indonésien
janvier 2024 Wikipédia en espagnol, Wikipédia en français
février 2024 Wikipédia en espagnol, Wikipédia en français
mars 2024 Wikipédia en chinois, Wikipédia en anglais, Wikipédia en igbo Wikipédia en espagnol, Wikipédia en français
avril 2024 Wikipédia en anglais, Wikipédia en igbo, Global Sysops and Rollbackers Wikipédia en anglais, Wikipédia en igbo
mai 2024 Disponible pour toutes les wikis


Documentation technique

Si vous souhaitez voir comment la fonctionnalité est implémentée, veuillez visiter la Note du développeur sur les tâches de Patroller pour plus d'informations.

Mises à jour

juillet 2024 - Results after 30 days

We have results to share 30 days after the release of Edit Patrol to all Wikipedias within the Android App. Overall, we met or almost met 3/5 of our Key Indicators, and 2/2 of our guardrails.

Validation

  • KR 1.1: 65% of Target mature audiences that use the tool say they find it helpful for maintaining the quality of wikis and would recommend it to other patrollers
    • Almost met: In an in-app feedback about satisfaction with the feature, 63.6% of users who gave feedback selected Satisfied, 22.7% selected Neutral, 13.6% selected Unsatisfied
    • Qualitatively: an Indonesian Wikipedia editor mentioned they found accessing the talk page templates through the feature helpful, and that it would make them more efficient. They mentioned this feature is the only option for them to check Recent Changes on Indonesian Wikipedia. Another Indonesian Wikipedia editor found the tool helpful for patrolling without needing to carry a laptop. 2 other editors mentioned they are excited to download the app to try the Edit Patrol feature, one mentioned it might make them more active in patrolling.
  • KR 1.2: 10% of target mature audiences interacted with another user by sending thanks or a talk page message.
    • Not met: 3.2% of all users sent Thanks, no users sent talk page messages through the feature. We heard from patrollers about the importance of communication along with undo and rollback actions especially for newcomers. However we did not see users sending Talk Page messages along with edits, even though ‘Talk’ was an option in the toolbar. Iterative improvements to motivate users to send talk page messages should be considered for future work.
  • KR 1.3: 10% of target mature audiences engage with filter for preferences
    • Met: 23.8% of users engaged with Filters
  • KR 1.4.1: 30% of users engage with the tool more than once in a 30 day window
    • Met: 38.1% of users returned on more than 1 day
  • KR 1.4.2: 65% of Target mature audiences (potential sysop/rollback Android editors) engage with the tool once in a thirty day window
    • Not met: 30.6% of all potential users engaged with the tool once. This could be due to a few reasons: many users with extended rights already have established workflows on Desktop or Mobile Web, or users with extended rights who have the the Android App are not aware of the feature.

Guardrails

  • Guardrail 1: Experienced users without rollback rights, users that have and have not used alternative patrolling tools equally understand the workflow
    • Met: We conducted interviews with 6 Wikimedians who had a variety of experience patrolling with V1 of the feature. Some were admins, and others were experienced editors. 2 interviewees had not used alternative patrolling tools.
      • 6/6 of participants thought that the location of the tool is intuitive.
      • 6/6 could easily understand the 'List of edits' page displayed
      • 6/6 of the participants thought that the information provided through the feature looked fine.
      • 2/6 of the participants didn't understand the title 'ORES score' (they knew good vs bad faith edits but didn't relate that to the ORES score), and we updated the way the scores were presented in response.
  • Guardrail 2: We do not receive reports of tool being used to negatively target underrepresented content or contributors based on in-app reporting mechanisms
    • Met: We have not received reports through in app reporting.

Curiosities

  • Curiosity 1: How does use of our tool compare to other patrolling tools when looking at MediaWiki Tags (SWViewer, Huggle, and Twinkle)
    • One of our goals in building this tool was that it could work across language wikipedias.
    • In terms of Edits: We saw that 93.1% of Android Patroller edits were made on wikis other than English, comparable to SWViewer where 88.4% of edits were made on language wikipedias other than English. This is markedly different from Huggle and Twinkle, where the majority of edits are made on English Wikipedia
Rollback/Undo Edits by Tool on English vs Other Wikis
Tool Total Rollback/Undo Edits % English Wikipedia Edits % Other Wiki Edits
Huggle 9249 88.6% 11.4%
Twinkle 17133 89.9% 10.1%
SWViewer 3758 11.6% 88.4%
Android App Patrollers 331 6.9% 93.1%
    • In terms of unique Editors, 60% of unique editors on the Android Patrolling tool were editing on a language other than English, comparable to SWViewer where 71% of editors are editing on a language other than English. Huggle and Twinkle’s unique editors/bots were primarily editing English Wikipedia, with only 10% of Huggle’s unique editors editing a language other than English, and 14% of Huggle unique editors.
Unique Rollback/undo Editors by Tool on English vs Other Wikis
Tool Total Uniques % English Wikipedia Editors/Bots % Other Wikipedia Editors/Bots
Huggle 75 89.33% 10.67%
Twinkle 829 85.77% 14.23%
SWViewer 64 28.13% 71.88%
Android App Patrollers (All non bot editors) 23 39.13% 60.87%
  • Curiosity 2: Do we see an increase in Undo/Rollback/Thank events
    • We saw an average 7.9% increase in rollback/undo counts compared to previous monthly events. We did not see an increase or change in Thank events.
  • Curiosity 3: How popular is this task with our target audience relative to other Suggested Edits task?
    • Edit patrol had 331 edits in a 30 day time period, making up 2% of all suggested edits. Adding image captions has a similar usage rate, at 3.1% of all suggested edits, and 517 edits in a 30 day time period. Edit patrol has a key difference in availability: it is only available to a much smaller audience: editors with rollback rights (other suggested edits are available to users with 50+ edits).
  • Curiosity 4: What actions are most popular in the feature?
    • All editors who entered the feature opened an edit from the list of edits, and swiped through edits. 25.4% of all editors completed undo or rollback actions.
Action % of All Users Completing Action
Swiping through edits 100.0%
Clicking on an Edit 100.0%
Completing an Undo 23.8%
Completing a Rollback 12.7%
  • Curiosity 5: How are users interacting with Saved Messages and Example Messages?
    • We have not seen engagement with Saved Messages so far.
  • Curiosity 6: How are users interacting with template search and filing out template data?
    • We have not seen engagement with Templates so far.

Lessons Learned

  • 30% of our eligible audience engaged with the tool in a 30-day window. When deciding how to release the feature, we listened to community requests to only make it available to users with rollback rights. This resulted in a smaller eligible audience, and we did not have a baseline for frequency of use in a given period. In the future, we should continue to explore how the feature could be made available to more users, especially on small to medium-sized Wikipedias. If community configuration capabilities are added to this tool in the future, it could allow for expanded access: communities could choose to allow editors with a certain edit threshold to have access to this tool.
  • We heard from patrollers about the importance of communication along with undo and rollback actions, and we heard requests to add support for Templates. However, we did not see users sending talk page messages along with edits, or using templates within the feature. The feature could have benefitted from an in-app feedback mechanism triggered after a user completed a rollback or undo function, but did not send a message.

juin 2024

  • We connected with Moderator Tools on the release of the RevertRisk model to RecentChanges, and agreed that we'll wait to confirm model stability and effectiveness with Automoderator on production wikis before assessing the work needed to make the RevertRisk model available via RecentChanges. In addition, we are still monitoring the timing of needing to switch to RevertRisk model as a result of anticipated degradation of the GoodFaith and Damage scores from ORES legacy.

mai 2024

  • Edit Patrol is now available on production for all Wikis! T350513
  • Community ambassador, Bona, shared the feature at the ESEAP 2024 conference, and we heard the following feedback:
    • One Indonesian Wikipedia editor mentioned they found the talk page templates helpful, and it makes them more efficient. They mentioned this feature is the only option for them to check Recent Changes on Indonesian Wikipedia.
    • Another Indonesian editor mentioned it was confusing at first to change their primary language to view the tool (indicating that we could improve the entry point). They found the tool helpful for patrolling without needing to carry a laptop.
    • 2 other editors mentioned they are excited to download the app to try the Edit Patrol feature, one mentioned it might make them more active in patrolling.
  • We have preliminary analysis to share after Edit Patrol’s release (acknowledging this was a phased release, we will share numbers 30-days after its release to all wikipedias) T363353
    • Key Indicator 1: 65% of Target mature audiences that use the tool say they find it helpful for maintaining the quality of wikis and would recommend it to other patrollers
      • Actual: 57.1% of users who gave feedback selected Satisfied, 42.9% selected Neutral
    • Key Indicator 2: 10% of target mature audiences interacted with another user by sending thanks or a talk page message.
      • 0% of users sent thanks or talk page messages. We had a discrepancy in our data instrumentation that caused us to over-report the number of messages that were sent through the tool. This was updated to the corrected percent on 10 July 2024.
    • Key Indicator 3: 10% of target mature audiences engage with filter for preferences
      • We saw 1.6% of users engage with Filters
    • Key Indicator 4: 65% of Target mature audiences engage with the tool at least once in a thirty day window
      • We saw 87.5% of those who opened the feature completed successful engagements with the tool.
  • We learned we may be able to offer blocking as an action, as requested by some users
  • We’ve documented multiple ways that community configuration could benefit this tool in the future.
  • Fixed some small issues in Edit Patrol:
    • Make “Next” button active for Saved / Example Messages in Talk flow, even if user has not made change to saved message T362994
    • Navigating back from editing a saved message now returns you to the tab you started on T362996

avril 2024

The team released “V2” of Edit Patrol to target wikis, which includes Saved messages functionality and support for Templates to production, T356774 & T355141.

  • Edit patrol is now available on production for Igbo and Chinese Wikipedia, it will be available in production for all Wikis by mid-May.T350512
  • We received feedback that we should change “warn” to “talk” to encourage more positive behavior, and we finished updating this throughout the feature: T360449 & T361648
  • Outreach:
    • We met with admins from the Igbo community to share the feature and receive feedback on how it lands with a smaller wiki.
    • We shared release information and consultation hours information with English Wikipedia, and on discussion pages of patrolling audiences: Stewards, Global Rollbackers, Global Sysops, Recent Changes Patrol, Small wiki monitoring team, and Coutnervandalism unit. Our consultation hour was held on Friday, April 26.
    • We coordinated with WMFR to share a short async presentation and demo in the French Admins meeting on April 13.
  • Learnings:
    • We learned from one English Wikipedia admin that they would value quick access to Blocking users through this tool, and would expect to find it under the user overflow menu. They would also like to see a prompt to quickly add the appropriate talk page message to accompany the block. T363422
    • A global rollbacker shared that they would like to have access to Advanced Reporting and Vetting (ARV), which is supported through Twinkle.
    • We heard another request for the Example Messages provided to be community configurable, highlighting the importance of this work once Community Config supports the apps T358265
    • We heard feedback that reaffirms our choice to make this tool only available to rollbackers at the start, but suggested a threshold to be considered in the future could be 500+ edits and 30 days of tenure. We see another opportunity for Community Config here, supporting wikis in changing permission levels for this feature.T358265

avril 2024, Special Mid Month Update

  • Edit patrol has been released to all wikis in the Beta version of the app! To view the feature, download or update the Wikipedia Beta app. Open the Edits tab, and look for Edit Patrol under Suggested Edits. The feature is available to users with rollback rights, and will display if you have rollback rights on the language that is set as your Primary in the App.
Edit patrol demonstration on test.wiki

mars 2024

  • We released the Edit Patrol suggested edit to French and Spanish Wikipedias. T350511
  • Development continued for Saved Messages for Edit Patrol (Example messages available in the App) and access to templates.
  • While completing development on Saved Messages, we learned that it wasn’t feasible to allow users to edit, delete, and rearrange the prewritten "Example Messages" from within the app in the same way that users can edit their own custom made messages. We updated the designs for Saved Messages to add visual separation between “Your Messages” and “Example Messages” T359209
  • We learned we will be able to use the Growth team’s community config to make Example messages available for modification in the app.
  • We solicited feedback about how to handle the links to policies within the example messages: we heard from one global admin (a staff member), who recommended against linking to English Policies as the fall-back. We heard from a member of Igbo community that they may choose to keep the links to English policies, and eventually update them. We decided to modify the wording of the English example messages, adding "this wikipedia" in a few places so that the sentences make sense without links. Translation instructions on translatewiki will say, “Please include the relevant language version of the link(s). If no link is found, please do not include a link. Editors may add a link(s) to another language wiki's policy if desired.” We will continue to get more input as we scale to more languages and iterate on how we are treating saved messages for small wikis until community config is available. The example message texts are on a Media.wiki page with links to translations.
  • We received feedback that we should change “warn” to “talk” to encourage more positive behavior, and began updating this throughout the feature. T360449
  • In our meeting with Spanish Wikipedians, they reaffirmed the choice of Edit Patrol only being available to rollbackers.
  • We are sharing the feature to Igbo Wikipedia April 3rd and will have office hours with English Wikipedia April 26nd.

février 2024

  • We hosted two synchronous community consultations & recorded a third where we shared the Edit Patrol workflow, and showed designs for Saved messages and templates:
  • We've started development on Saved Messages T356774 (example messages available in the App) and access to templates T355141, which was well received by French Wikipedia. Draft saved messages are posted here, and we welcome feedback on the discussion page.
  • Another community member raised interest in the example warning messages being configurable via the community config.(T358265#9573393), and we are coordinating with the Growth team on this.
  • French Wikipedians reaffirmed the choice of Edit Patrol only being available to rollbackers.

janvier 2024

  • Indonesian Wikipedia requested consideration for using Edit Patrol in the upcoming election to fight disinformation and vandalism. Our team had the feature reviewed by our legal team, and volunteers were cleared to use the tool for patrolling during their upcoming election.
  • This month we learned that some communities appreciate being able to have speedy deletion as an option in patrolling tools, which we will consider for future iterations of this feature.
  • Additionally, our team met with the Growth, Moderator Tools and Machine Learning teams to discuss adding the revert risk model to recent changes filtering. We may be able to switch over from using Good Faith and Damaging ORES scores to the Revert Risk model as we scale to Spanish, French and Chinese Wikipedias in the coming months. This may open the door for an experimental training task for experienced editors without rollback rights.
  • We have established demo sessions for our next set of pilot wikis:
    • French Moderators - scheduled for 21 February 2024 from 16-17 UTC
    • Spanish Moderators - scheduled for 28 February 2024 from 16-17 UTC
    • Chinese Moderators - recorded presentation to be shared asynchronous
  • Our designer worked on the flow and UI for the saved warning messages and templates, which will be released in the coming months.
  • Template Flow: T355141: The team is working to add support for templates, so patrollers can utilize existing templates in their messages

décembre 2023

Patrolling Pain Points on French Wikipedia

We met with a few language communities to get feedback about Edit patrol. The Indonesian Wikipedia community approved the release of the feature for their community and shared which templates are used for warnings, which we will incorporate in a future release. For the month of December we are enabling users to save warning messages on their device (T343841). In January we will begin outreach to Spanish and Chinese Wikipedia to scale to more communities. We’ve already begun outreach to French Wikipedia via the French Wikimedia ED, he shared some pain points identified by French patrollers as it relates to RC Live and SWViewer and other tools as it relates specifically to the French Wikipedia community that we are taking into consideration for Edit Patrol. We are hoping to establish office hours sometime in February with French Wikipedia to discuss Edit patrol.

novembre 2023

Release to Indonesian Wikipedia

Edit Patrol was released to Indonesian and Test Wikipedia. In order to see the feature in Suggested Edits you must have rollback or sysops rights.

Grâce à cette première version, les révocateurs peuvent:

  • Introduire à la tâche avec une explication de quand utiliser Thank, Watch, Warn, Undo ou Rollback, ainsi qu'une explication des scores ORES. (T343242)
  • Composer, enregistrer et publier les premiers messages d'avertissement. (T344842)
  • Sélectionner, modifier, enregistrer et publier le message d'avertissement existant (T344842)
  • Afficher des informations sur d'autres rédacteurs, y compris leur mandat en tant qu'éditeur et leur nombre de modifications (T343835)
  • Les filtres pour le flux de modifications récentes incluent la version linguistique du wiki, le statut d'inscription, le niveau d'expérience, la prédiction du niveau de qualité, la prédiction de l'intention de l'utilisateur, les contributions automatisées et l'importance de la modification. La page de filtre permet également de trier par dernière révision. Il est également possible d'effectuer une recherche parmi les modifications.
Filtre sans résultat
  • Une possibilité de signaler des problèmes avec le filtre (T343834)
Problème de menu de la barre d'application avec la boîte de dialogue des fonctionnalités

Nous apprécions les commentaires sur la fonctionnalité alors que nous nous préparons à contacter des wikis supplémentaires pour faire évoluer la fonctionnalité.

Septembre 2023: Avancement de la V1 de Patroller Tasks: Dévoilement de nouvelles fonctionnalités à la communauté Wikipédia indonésienne

Nous avons continué à développer une première version de Patroller tasks et avons annoncé la fonctionnalité sur la Wikipédia indonésienne. Nos ingénieurs ont fait une démonstration des filtres pour la V1 de Patroller task:

Août 2023: Mises à jour du projet et considérations techniques

  • We shared updates about this project at Wikimania. The recording can be found on Youtube starting at 1:24:30. We received a question about having a central place for Warning messages that can be used across apps. We are planning to work with the Growth team to explore the possibility of centralized warning messages.
  • We became aware of the deprecation of ORES and migration to Liftwing which will host the revertrisk model. Due to our team using the MediaWiki API to show the recent edits feed, we will continue to show the Goodfaith and Damaging Models at least in V1. Using the Revert Risk model would require two API calls, which could slow down the feature, this also doesn’t address filtering. If you have feedback about this technical decision, feel free to comment on our discussion page.
  • We created designs for Onboarding to the feature T343242.

Juillet 2023: Recherche sur la conception et résultats des entretiens

Tests d'utilisabilité

Un test d'utilisabilité à distance modéré a été mené auprès de six contributeurs expérimentés qui utilisent des appareils Android et donnent de leur temps pour suivre les activités sur les wikis en espagnol, français, anglais et chinois. Nous avons sélectionné des participants de ces wikis en raison de leur grand nombre d'éditeurs avec des droits de sysop/révocation, ce qui nous a permis de recueillir efficacement des commentaires sur l'utilisabilité.

Les patrouilleurs ont fourni des informations précieuses sur les premières conceptions et la facilité d'utilisation de l'outil 'Edit patrol'.

Pendant le test, les rédacteurs ont été chargés de réaliser de courtes tâches en utilisant un prototype limité de l'outil. Il leur a également été demandé de raconter en temps réel leur expérience alors qu'ils accomplissaient ces tâches.

For additional details about the usability test, please refer to the following link.

Résultats

Les commentaires et les précieuses suggestions des participants ont contribué à améliorer les conceptions initiales. Les améliorations suivantes ont été mises en œuvre:

  • Les participants ont souhaité avoir des balises affichées pour chaque édition sur la page de modifications récentes, et la capacité de discerner si un éditeur a effectué plusieurs modifications sur une seule page.
  • Notre objectif était d'intégrer des filtres sur la page où sont affichées les modifications récentes. Pour déterminer les filtres de la version initiale de l'outil 'Edit patrol', nous avons consulté les patrouilleurs. Ils ont suggéré d'inclure les filtres suivants: Langues, inscription et expérience des utilisateurs, contributions automatisées, prédictions de qualité des contributions, préditions d'intention des utilisateurs, la dernière révision, et la signification. Nous avons ensuite conçu une page qui présente ces filtres, que vous pouvez voir ci-dessous.
  • La page de vue des différences a été simplifiée
  • Des améliorations mineures de la conception ont été apportées au processus de création, de sauvegarde, de publication et de modification des messages d'avertissement destinés aux patrouilleurs. Les conceptions révisées sont affichées ci-dessous pour votre référence.
  • Les participants ont fourni des commentaires supplémentaires concernant les patrouilles, que nous souhaitons transmettre dans l'outil via l'intégration, des info-bulles ou des rappels. Les points mentionnés incluent: L’importance de communiquer avec empathie avec les autres contributeurs et l’accent mis sur la priorité accordée à la qualité des modifications patrouillées plutôt qu’à leur quantité.

L'outil 'Edit patrol' est actuellement en phase de développement. Vous pouvez suivre son développement à travers Phabricator T343224.

Février 2023: Concepts de design initiaux

L'équipe a développé des concepts de design initiaux en incorporant des informations provenant d'outils existants et des commentaires que nous avons recueillis sur leurs limites. Nous avons partagé ces concepts avec l'équipe des outils Moderator, et avec l'équipe de recherche pour obtenir leur contribution et leur rétroaction.

Nous utiliserons les commentaires reçus pour améliorer les concepts de design et établir un protocole pour les commentaires modérés et asynchrones des utilisateurs de l'application. Actuellement, nous lançons une campagne de sensibilisation directe pour planifier des sessions de rétroaction modérées et veiller à ce que des mécanismes de traduction soient mis en place pour ces sessions. Une fois que le protocole sera disponible sur MediaWiki, nous enverrons une communication plus large pour commencer à recueillir des commentaires asynchrones sur notre page de discussion.

Les concepts de design fournis sont destinés à donner des exemples de la façon avec laquelle nous visons à aborder les problèmes auxquels sont confrontés d'autres outils. Toutefois, veuillez noter que nous sommes dans les premiers stades de ce processus, et que les conceptions évolueront et s'étendront en fonction des commentaires que nous recevrons dans les semaines à venir.

Janvier 2023: Examen comparatif et recherche sur les utilisateurs existants

L'équipe a mené un examen comparatif pour analyser les outils de patrouille existants. Au cours de l'examen, nous avons évalué les similitudes et les différences entre les outils et identifié ceux qui étaient efficaces sur les appareils mobiles.

La liste complète des outils que nous avons examinés comprend:

  • Huggle
  • Twinkle
  • TwinkleMobile
  • STiki
  • SWViewer
  • WikiLoop Double Check
  • CheckWiki
  • ReWarn
  • CheckWiki

Lors de notre évaluation, nous avons constaté que la plupart des outils étaient optimisés pour l'utilisation de bureau, à trois exceptions près. De plus, seules deux des solutions ci-dessus ont bien fonctionné à travers plusieurs wikis linguistiques.

Les éléments communs trouvés dans ces outils étaient:

  • Icônes représentant l'action principale (par exemple: Révoquer, supprimer rapidement, accueillir l'utilisateur, etc.)
  • Accès aux modèles
  • Filtres
  • Liste des contributions
  • Différences
  • Informations sur le rédacteur

En plus de l'examen comparatif des outils existants, nous avons également recueilli des demandes récurrentes des patrouilleurs concernant ces outils. Les demandes communes comprennent:

  • Filtrer les contributions par sujets d'intérêt et par période spécifique
  • Un moyen simple d'exclure les contributions qui ont déjà été patrouillées
  • Aucune exigence de privilèges spéciaux tels que les droits de révocation pour accéder aux outils
  • Une option entre "sauter" et "révoquer" pour des actions plus nuancées
  • Des outils qui favorisent la collaboration entre les patrouilleurs

En prenant ces demandes en compte, nous visons à développer une solution de patrouille complète qui répond aux besoins et aux préférences des patrouilleurs dans différentes langues et niveaux d'expérience utilisateur.

Décembre 2022: Prototype de preuve de concept

L'équipe a développé un prototype de preuve de concept pour explorer les capacités et les possibilités en utilisant les API existantes. Le prototype nous a permis de tester et d'expérimenter différentes fonctionnalités et d'évaluer la faisabilité de nos idées. Cette exploration précoce nous aide à comprendre le potentiel des outils et à affiner notre approche avant de poursuivre le développement.

During our development process, we successfully exposed the ORES score, which provides users with an indication of the likelihood that something may be vandalism. This feature allows users to get insights into the quality of edits and helps them make informed decisions during the patrolling process. We would ideally send feedback to the research team's API for improvements, which will be valuable in improving the accuracy and effectiveness of the ORES score.

Novembre 2022: Définition des audiences initiales

L'équipe a mené des recherches (T322065) pour évaluer le nombre d'utilisateurs de l'application Wikipédia disposant de droits sysops et de révocation. Les résultats ont révélé que 372 utilisateurs d'applications Android et 176 utilisateurs d'iOS avaient ces droits. Sur la base de ces données, nous avons décidé de donner la priorité au déploiement de la fonctionnalité dans l'application Android, permettant ainsi à l'équipe de développement iOS de se concentrer sur la création de la fonctionnalité Watchlist.

De plus, nous avons cherché à comprendre la répartition des utilisateurs disposant de droits sysops et de révocation dans différentes langues. Ces informations ont joué un rôle crucial dans la détermination des communautés linguistiques cibles initiales pour notre approche directe au cours de la phase initiale de recherche. En nous concentrant sur ces communautés linguistiques spécifiques, nous avons cherché à obtenir des informations et des commentaires précieux de la part d'utilisateurs ayant de l'expérience en matière de modération et de patrouille, ce qui contribuera à façonner le développement de la fonctionnalité pour une utilisation plus élargie:

  • Wikipédia en anglais
  • Wikipédia en français
  • Wikipédia en chinois
  • Wikipédia en espagnol

En même temps que nous travaillons sur la sensibilisation directe à des communautés linguistiques wiki bien spécifiques, et aux utilisateurs du système d'exploitation, nous souhaitons souligner que nous apprécions et encourageons vivement les commentaires et les idées de tout utilisateur de l'application ayant une expérience de patrouille. Nous apprécions également la contribution des utilisateurs Web, mais notre priorité sera de recueillir les commentaires des utilisateurs de l'application.

Il est essentiel de créer une expérience unifiée sur toutes les plateformes. Pour y arriver, nous sommes en étroite communication avec l'équipe de Moderator Tools, qui créera des expériences pour les utilisateurs Web. En Apprenant de leurs découvertes et en collaborant étroitement, nous visons à assurer la continuité et la cohérence entre les applications et les plateformes Web. Vos commentaires et vos idées joueront un rôle crucial dans le développement et l’amélioration de la fonctionnalité de patrouille pour tous les utilisateurs.