Aplicaciones de Wikimedia/Equipo/Android/Antivandalismo

From mediawiki.org
This page is a translated version of the page Wikimedia Apps/Team/Android/Anti Vandalism and the translation is 74% complete.
Outdated translations are marked like this.

Antecedentes

El equipo de Android ha recibido solicitudes de varias comunidades lingüísticas para mejorar la calidad de las modificaciones realizadas a través de la aplicación. Los miembros de la comunidad han pedido herramientas de moderación que sean justas e imparciales en las wikis en distintos idiomas El equipo tiene como objetivo mejorar los flujos de trabajo existentes, garantizando al mismo tiempo la equidad en la moderación, un ejemplo se puede encontrar en la lista de deseos de 2022.

Con las recientes actualizaciones de la aplicación, como la lista de seguimiento nativa, y el historial de ediciones, así como la adición del botón de deshacer y revertir en la pantalla de diferencias, existe la oportunidad de crear una solución de moderación dentro de la aplicación. La solución se basará en los microflujos de trabajo de contribución móviles existentes.

El equipo tiene previsto desarrollar una herramienta antivandalismo (V1) dirigida a moderadores con experiencia en todos los idiomas. Además, introducirán una tarea de formación para ayudar a los editores experimentados a aprender a patrullar si no lo han hecho antes. Esto se hará en estrecha colaboración con la comunidad. El equipo también trabajará con el equipo de investigación para mejorar herramientas como ORES y colaborará con el equipo de herramientas para moderadores, que se ocupa de este tema en la Web móvil, para garantizar una experiencia fluida a los usuarios de distintas plataformas.

Requisitos del producto

  • Los editores pueden revisar los diffs para una serie de ediciones
  • Los editores tienen la opción de "revertir" u "omitir" los cambios sugeridos.
  • Se pueden mostrar las ediciones recientes realizadas en varios idiomas.
  • Los editores pueden crear y guardar mensajes de advertencia para utilizarlos al revertir cambios.
  • Los editores experimentados podrán patrullar la aplicación en una versión posterior (V2).

Limitación técnica

Actualmente no es posible tener varios idiomas en un mismo hilo, pero los usuarios podrán cambiar de un idioma a otro.

Currently, it's not possible to have multiple languages in a single feed, but users will have the ability to switch between languages.

Hipótesis y validación

Hipótesis y supuestos

Creemos que sería beneficioso simplificar las tareas de patrullaje y estructurarlas como tareas de nivel avanzado. A los editores experimentados sin permisos de sysops o reversión se les podrían asignar tareas de patrullaje más sencillas o una tarea de formación, y una vez que alcancen un umbral de actividades de patrullaje iniciales, podrán ser promovidos a niveles superiores. Para lograrlo, planeamos empezar con una prueba de concepto para el patrullaje general de ediciones basado en usuarios con permisos de reversión.

We believe that simplifying the patrolling tasks and structuring them as advanced-level tasks would be beneficial. Experienced editors without sysops or rollback rights could be assigned easier patrolling tasks or a training task, and once they reach a threshold of initial patrolling activities, they can be promoted to higher levels. To achieve this, we plan to start with a proof of concept for general patrolling of edits based on users with rollback rights.

Entendemos que patrullar las ediciones recientes es prioritario y más adecuado para móviles que tareas como NPP (Patrullaje de páginas nuevas), AFD (Artículos para borrar) y AFC (Artículos para crear). Además, esperamos que haya consenso en la comunidad sobre la implementación de una tarea de formación en diferentes idiomas.

Validación

  • Indicador clave 1: El 65% del público experto que utiliza la herramienta la considera útil para mantener la calidad de las wikis y la recomendaría a otros patrulleros.
  • Indicador clave 2: Aumento de las ediciones realizadas por el público experto en un 5%.
  • Indicador clave 3: El 10% del público objetivo utiliza las preferencias de filtrado.
  • Indicador clave 4: El 65% de los públicos objetivos utilizan la herramienta al menos tres veces en un periodo de treinta días.
  • Barandilla de seguridad: Los usuarios experimentados sin permisos de reversión, tanto los que han utilizado herramientas de patrullaje alternativas como los que no, deben comprender igualmente el flujo de trabajo.
  • Barandilla de seguridad: No debe haber informes de que la herramienta se utilice para atacar negativamente contenidos o colaboradores infrarrepresentados basándose en los mecanismos de información de la aplicación.

Cosas que sería útil saber

  • ¿Cómo se compara el uso de nuestra herramienta con el de otras herramientas de patrullaje cuando se examinan las etiquetas de MediaWiki (SWViewer, Huggle y Twinkle)?
  • ¿Vemos un aumento en las acciones de deshacer/revertir/agradecer?
  • ¿Cuál es la popularidad de esta tarea entre nuestro público objetivo en comparación con otras tareas de sugerencias de edición?
  • ¿Qué acciones son las más populares en esta función?

Risk management

Risk Cause Level Response Response Action Trigger Contingency Plan
Tool causes a decrease in new editor retention on wikis where it's available Editors use the tool to increase the volume of edits they're able to revert, but do not leave talk page messages to explain the revert, leaving new editors confused and unmotivated. Medium Monitor Measure the retention rate of editors who had a revert from the patroller task. If they got a talk message, did that increase their retention? Qualitative complaints If a user has not left a talk page message after using undo or rollback and attempts to move to next edit, add a prompt asking/requiring them to leave a Talk Page message
Policy disagreements between existing patrollers and newer patrollers using Edit Patrol / New patrollers use the tool a way that confuses other patrollers. Behavior and/or communication from App patrollers is seen as insufficient or lacking by other patrollers. A new group of editors are able to start patrolling at scale using Edit Patrol, but they are not aware of existing policies or norms. Medium Mitigate Post updates, and invite to office hours patrolling groups (CVU, recent changes patrol, small wiki monitoring team, stewards, global sysops, global rollbackers) before full release. Share Example Messages with communities. Qualitative complaints from patrollers Add more policy and template onboarding to tool, and revisit Example Messages after Community Configuration 2.0 is released. Continue work on building training task.
An increase in edit wars Patrollers reviewing the same feed of edits go back and forth reverting each other's changes because revisions or rollbacks made in the tool appear in the feed for the next person (if no filters are applied). Low Accept - Qualitative complaints Add more onboarding about policies surrounding Edit Wars. Add in-app warning for edit-war behavior.
The tool is being used to negatively target underrepresented content or contributors. Patrollers are systematically reverting good faith edits for particular users or languages, harassing, or mistreating contributors through the tool. Low Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints, in-app reporting mechanisms, guardrail analysis by Product Analyst Add universal code of conduct onboarding to tool.
The tool causes an increase in vandalism, and increase in amount of work for existing patrollers Vandals use the streamlined interface to quickly revert or rollback large quantities of good faith edits. Low (Dormant) Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints and anomalies surfaced in data reporting Implement a maximum number of undos/rollbacks that can be done in a range of time.
Someone is exposed to vandalism or there is a copyright violation in Example Messages provided in-app A vandal has edited the Example Messages or pasted copyright material in using Community Configuration 2.0 or Translate.wiki, and they automatically appear in everyone's app Low (Dormant) Mitigate Once community configurable, ensure permissions are set for editing with Growth team. Qualitative complaints Inrease necessary permissions to edit Example Messages.

Cómo seguir el hilo

Hemos creado T322083 como nuestro Phabricator Epic para seguir este trabajo. Te invitamos a colaborar con nosotros allí o en nuestra página de discusión.

En esta página ofreceremos actualizaciones periódicas a medida que avancemos. Si estás interesada/o en participar en nuestras sesiones moderadas de comentarios sobre el diseño, háznoslo saber en nuestra página de discusión y nos pondremos en contacto contigo.

Tenemos la siguiente estrategia:

Periodo 2023-2024 Consulta Lanzamiento para reversores
octubre de 2023 Wikipedia en indonesio
noviembre de 2023 Wikipedia en indonesio Wikipedia en indonesio
enero de 2024 Wikipedia en español, Wikipedia en francés
febrero de 2024 Wikipedia en español, Wikipedia en francés
marzo de 2024 Wikipedia en chino, Wikipedia en inglés, Wikipedia en igbo Wikipedia en español, Wikipedia en francés
abril de 2024 Wikipedia en inglés, Wikipedia en igbo, Global Sysops and Rollbackers Wikipedia en inglés, Wikipedia en igbo
mayo de 2024 Por definir Disponible para todas las wikis

Documentación técnica

Si estás interesado en ver cómo se implementa esta función, visita Notas de desarrollo para patrulleros para obtener más detalles.

Novedades

febrero de 2024

  • We've started development on Saved Messages T356774 (example messages available in the App) and access to templates T355141, which was well received by French Wikipedia. Draft saved messages are posted here, and we welcome feedback on the discussion page.
  • Another community member raised interest in the example warning messages being configurable via the community config.(T358265#9573393), and we are coordinating with the Growth team on this.
  • French Wikipedians reaffirmed the choice of Edit Patrol only being available to rollbackers.

enero de 2024

  • Indonesian Wikipedia requested consideration for using Edit Patrol in the upcoming election to fight disinformation and vandalism. Our team had the feature reviewed by our legal team, and volunteers were cleared to use the tool for patrolling during their upcoming election.
  • This month we learned that some communities appreciate being able to have speedy deletion as an option in patrolling tools, which we will consider for future iterations of this feature.
  • Additionally, our team met with the Growth, Moderator Tools and Machine Learning teams to discuss adding the revert risk model to recent changes filtering. We may be able to switch over from using Good Faith and Damaging ORES scores to the Revert Risk model as we scale to Spanish, French and Chinese Wikipedias in the coming months. This may open the door for an experimental training task for experienced editors without rollback rights.
  • We have established demo sessions for our next set of pilot wikis:
    • French Moderators - scheduled for 21 February 2024 from 16-17 UTC
    • Spanish Moderators - scheduled for 28 February 2024 from 16-17 UTC
    • Chinese Moderators - recorded presentation to be shared asynchronous
  • Our designer worked on the flow and UI for the saved warning messages and templates, which will be released in the coming months.
  • Template Flow: T355141: The team is working to add support for templates, so patrollers can utilize existing templates in their messages

diciembre de 2023

Patrolling Pain Points on French Wikipedia

We met with a few language communities to get feedback about Edit patrol. The Indonesian Wikipedia community approved the release of the feature for their community and shared which templates are used for warnings, which we will incorporate in a future release. For the month of December we are enabling users to save warning messages on their device (T343841). In January we will begin outreach to Spanish and Chinese Wikipedia to scale to more communities. We’ve already begun outreach to French Wikipedia via the French Wikimedia ED, he shared some pain points identified by French patrollers as it relates to RC Live and SWViewer and other tools as it relates specifically to the French Wikipedia community that we are taking into consideration for Edit Patrol. We are hoping to establish office hours sometime in February with French Wikipedia to discuss Edit patrol.

noviembre de 2023

Release to Indonesian Wikipedia

La Edit Patrol fue implementada en la Wikipedia en indonesio y en la Wikipedia de prueba. Para ver la función en ediciones sugeridas debes tener permisos de reversión o sysops. In order to see the feature in Suggested Edits you must have rollback or sysops rights.

A través de esta primera versión, los reversores son capaces de:

  • Introducirse a la tarea con una explicación de cuándo usar Agradecer, Vigilar, Apercibir, Deshacer o Revertir, así como una explicación de las puntuaciones ORES. (T343242)
  • Redactar, guardar y publicar los primeros mensajes de alerta. (T344842)
  • Seleccionar, editar, guardar y publicar mensajes de advertencia existentes (T344842)
  • Ver información sobre otros editores, incluyendo su antigüedad como editor y su recuento de ediciones. (T343835)
  • Los filtros para la sección de cambios recientes incluyen el idioma wiki, el estado de registro, el nivel de experiencia, la predicción de la puntuación de calidad, la predicción de la intención del usuario, las contribuciones automatizadas y la importancia de la edición. La página de filtros también permite ordenar por última revisión. También es posible buscar por ediciones.
Filtro sin resultados
  • Posibilidad de notificar problemas con el filtro (T343834)
Menú de la barra de aplicaciones: con la función de diálogo

Agradeceremos sus comentarios sobre esta función mientras nos preparamos para llegar a más wikis y expandirla.

septiembre 2023: Avanzando V1 de Tareas de Patrullaje: Desvelando nuevas características a la comunidad de Wikipedia en Indonesia

Continuamos el desarrollo de la V1 de las tareas de patrullaje y anunciamos la función a la Wikipedia en indonesio. Nuestros ingenieros hicieron una demostración de los filtros de la tarea de patrullaje V1:

agosto de 2023: Actualizaciones del proyecto y consideraciones técnicas

  • We shared updates about this project at Wikimania. The recording can be found on Youtube starting at 1:24:30. We received a question about having a central place for Warning messages that can be used across apps. We are planning to work with the Growth team to explore the possibility of centralized warning messages.
  • We became aware of the deprecation of ORES and migration to Liftwing which will host the revertrisk model. Due to our team using the MediaWiki API to show the recent edits feed, we will continue to show the Goodfaith and Damaging Models at least in V1. Using the Revert Risk model would require two API calls, which could slow down the feature, this also doesn’t address filtering. If you have feedback about this technical decision, feel free to comment on our discussion page.
  • We created designs for Onboarding to the feature T343242.

julio de 2023: Investigación de diseño y resultados de las entrevistas

Pruebas de usabilidad

Se realizó una prueba de usabilidad remota moderada en la que participaron seis colaboradores experimentados que utilizan dispositivos Android y dedican voluntariamente su tiempo a actividades de supervisión en wikis en español, francés, inglés y chino. Seleccionamos participantes de estas wikis debido a su elevado número de editores con permisos de sysop/reversión, lo que nos permitió recopilar comentarios de usabilidad de forma eficaz.

Los patrulleros aportaron valiosas ideas sobre los primeros diseños y la facilidad de uso de la herramienta "editar patrulla".

Durante la prueba, se encargó a los editores que completaran tareas breves utilizando un prototipo limitado de la herramienta. También se les pidió que narraran en tiempo real su experiencia mientras realizaban estas tareas.

For additional details about the usability test, please refer to the following link.

Resultados

La retroalimentación y las valiosas sugerencias de los participantes han contribuido a mejorar los diseños iniciales. Se implementaron las siguientes mejoras:

  • Los participantes expresaron el deseo de que se mostraran etiquetas para cada edición en la página de ediciones recientes, y la capacidad de discernir si un editor hizo múltiples ediciones en una sola página.
  • Nuestro objetivo era incorporar filtros en la página donde se muestran las ediciones recientes. Para determinar los filtros para la versión inicial de la herramienta "Editar patrulla", consultamos a los patrulleros. Sugirieron incluir los siguientes filtros: idiomas, registro y experiencia de usuario, contribuciones automatizadas, predicciones de calidad de la contribución, predicciones sobre la intención del usuario, última revisión y importancia. Posteriormente, diseñamos una página que presenta estos filtros, que se presenta a continuación.
  • La página de vista de diferencias se simplificó
  • Se han aplicado pequeñas mejoras en el diseño al proceso de creación, almacenamiento, publicación y edición de mensajes de advertencia para los patrulleros. Los diseños revisados se muestran a continuación para su referencia.
  • Los participantes aportaron más comentarios sobre el patrullaje, que pretendemos difundir dentro de la herramienta a través de la incorporación, los consejos sobre herramientas o los recordatorios. Los puntos incluyen: la importancia de comunicarse con empatía con los colaboradores, y el énfasis en dar prioridad a la calidad de las ediciones controladas sobre su cantidad.

La herramienta "Editar patrulla" está actualmente en fase de desarrollo, y puedes seguir su progreso a través de Phabricator T343224.

febrero de 2023: Conceptos iniciales de diseño

El equipo desarrolló conceptos iniciales de diseño incorporando ideas de herramientas existentes y comentarios que reunimos sobre sus limitaciones. Compartimos estos conceptos con el equipo de herramientas de moderadores y equipo de investigación para su aportación y retroalimentación.

Utilizaremos los comentarios recibidos para mejorar los conceptos de diseño y establecer un protocolo tanto para comentarios moderados como para comentarios asíncronos de los usuarios de la app. Actualmente, estamos iniciando una campaña directa para programar sesiones de retroalimentación moderadas y asegurar que se establezcan mecanismos de traducción para esas sesiones. Una vez que el protocolo esté disponible en MediaWiki, enviaremos una comunicación más amplia para comenzar a recopilar comentarios asíncronos en nuestra página de discusión.

Los conceptos de diseño proporcionados tienen por objeto ofrecer ejemplos de cómo pretendemos abordar los problemas que enfrentan otras herramientas. Sin embargo, ten en cuenta que estamos en las primeras etapas de este proceso, y los diseños evolucionarán y se expandirán en función de los comentarios que recibamos en las próximas semanas.

enero de 2023: Revisión comparativa e investigación de usuarios existentes

El equipo realizó una revisión comparativa para analizar las herramientas de patrullaje existentes. Durante la revisión, evaluamos las similitudes y diferencias entre las herramientas y identificamos cuáles eran efectivas en los dispositivos móviles.

La lista completa de herramientas que revisamos incluye:

  • Huggle
  • Twinkle
  • TwinkleMobile
  • STiki
  • SWViewer
  • WikiLoop Double Check
  • CheckWiki
  • ReWarn
  • CheckWiki

A través de nuestra evaluación, encontramos que la mayoría de las herramientas fueron optimizadas para uso de escritorio, con solo tres excepciones. Además, solo dos de las soluciones anteriores funcionaron bien en varias wikis idiomáticas.

Los elementos comunes encontrados en estas herramientas fueron:

  • Iconos para representar la acción principal (por ejemplo, revertir, eliminar rápidamente, bienvenida a usuario, etc.)
  • Acceso a plantillas
  • Filtros
  • Lista de contribuciones
  • Diffs
  • Información sobre el editor

Además de la revisión comparativa de las herramientas existentes, también recogimos solicitudes recurrentes de los patrulleros sobre esas herramientas. Entre las solicitudes comunes se incluyen:

  • Filtrar las contribuciones por temas de interés y período de tiempo específico
  • Una forma fácil de excluir las contribuciones que ya han sido patrulladas
  • No se requieren privilegios especiales como permisos de reversión para acceder a las herramientas
  • Una opción entre "salto" y "reversión" para acciones más matizadas
  • Herramientas que promueven la colaboración entre los patrulleros

Teniendo en cuenta estas solicitudes, nuestro objetivo es desarrollar una solución de patrullaje integral que aborde las necesidades y preferencias de los patrulleros en varios idiomas y niveles de experiencia del usuario.

diciembre de 2022: Prototipo de prueba de concepto

El equipo desarrolló un prototipo de prueba de concepto para explorar las capacidades y posibilidades utilizando las API existentes. El prototipo nos permitió probar y experimentar con diferentes funcionalidades y evaluar la viabilidad de nuestras ideas. Esta exploración temprana nos ayuda a comprender el potencial de las herramientas y a refinar nuestro enfoque antes de avanzar en el desarrollo posterior.

Durante nuestro proceso de desarrollo, exhibimos con éxito el puntaje ORES, que proporciona a los usuarios una indicación de la probabilidad de que algo pueda ser vandalismo. Esta función permite a los usuarios obtener información sobre la calidad de las ediciones y les ayuda a tomar decisiones informadas durante el proceso de patrullaje. Idealmente enviaríamos comentarios a la API del equipo de investigación para mejoras, lo que será valioso para mejorar la precisión y eficacia de la puntuación ORES.

noviembre de 2022: Definición del público inicial

El equipo llevó a cabo una investigación (T322065) para evaluar el número de usuarios de la aplicación Wikipedia con permisos de sysops y reversión. Los resultados revelaron que 372 usuarios de aplicaciones Android y 176 usuarios de iOS tenían estos permisos. Basándonos en estos datos, decidimos priorizar el lanzamiento de la función en la aplicación Android, permitiendo al equipo de desarrollo de iOS centrarse en construir la función de listas de seguimiento.

Además, buscamos comprender la distribución de los usuarios con permisos de sysops y reversión en diferentes idiomas. Esta información desempeñó un papel crucial en la determinación de las comunidades de idiomas objetivos iniciales para nuestro alcance directo durante la fase inicial de investigación. Al centrarnos en estas comunidades de idiomas específicas, nos proponemos obtener valiosas ideas y comentarios de los usuarios que tienen experiencia en moderación y patrullaje, lo que será fundamental para dar forma al desarrollo de la función para un uso más amplio:

  • Wikipedia en inglés
  • Wikipedia en francés
  • Wikipedia en chino
  • Wikipedia en español

Mientras nos centramos en la divulgación directa a comunidades de wiki de idiomas específicos y usuarios de sistemas operativos, queremos enfatizar que damos la bienvenida y alentamos en gran medida la retroalimentación e ideas de cualquier usuario de la aplicación con experiencia en patrullaje. También valoramos la aportación de los usuarios de la Web, pero nuestra prioridad será recopilar comentarios de los usuarios de las apps.

Es esencial crear una experiencia unificada en todas las plataformas, y para lograrlo, estamos en estrecha comunicación con el equipo de Herramientas del Moderador, que construirá experiencias para los usuarios de la web. Aprendiendo de sus descubrimientos y colaborando estrechamente, pretendemos garantizar la continuidad y la coherencia tanto en la aplicación como en las plataformas web. Tus comentarios e ideas desempeñarán un papel crucial en el desarrollo y la mejora de la función de patrulla para todos los usuarios.