Aplicaciones de Wikimedia/Equipo/Android/Antivandalismo
Antecedentes
El equipo de Android ha recibido solicitudes de varias comunidades lingüísticas para mejorar la calidad de las modificaciones realizadas a través de la aplicación. Los miembros de la comunidad han pedido herramientas de moderación que sean justas e imparciales en las wikis en distintos idiomas El equipo tiene como objetivo mejorar los flujos de trabajo existentes, garantizando al mismo tiempo la equidad en la moderación, un ejemplo se puede encontrar en la lista de deseos de 2022.
Con las recientes actualizaciones de la aplicación, como la lista de seguimiento nativa, y el historial de ediciones, así como la adición del botón de deshacer y revertir en la pantalla de diferencias, existe la oportunidad de crear una solución de moderación dentro de la aplicación. La solución se basará en los microflujos de trabajo de contribución móviles existentes.
El equipo tiene previsto desarrollar una herramienta antivandalismo (V1) dirigida a moderadores con experiencia en todos los idiomas. Además, introducirán una tarea de formación para ayudar a los editores experimentados a aprender a patrullar si no lo han hecho antes. Esto se hará en estrecha colaboración con la comunidad. El equipo también trabajará con el equipo de investigación para mejorar herramientas como ORES y colaborará con el equipo de herramientas para moderadores, que se ocupa de este tema en la Web móvil, para garantizar una experiencia fluida a los usuarios de distintas plataformas.
Requisitos del producto
- Los editores pueden revisar los diffs para una serie de ediciones
- Los editores tienen la opción de "revertir" u "omitir" los cambios sugeridos.
- Se pueden mostrar las ediciones recientes realizadas en varios idiomas.
- Los editores pueden crear y guardar mensajes de advertencia para utilizarlos al revertir cambios.
- Los editores experimentados podrán patrullar la aplicación en una versión posterior (V2).
Limitación técnica
Actualmente no es posible tener varios idiomas en un mismo hilo, pero los usuarios podrán cambiar de un idioma a otro.
Currently, it's not possible to have multiple languages in a single feed, but users will have the ability to switch between languages.
Hipótesis y validación
Hipótesis y supuestos
Creemos que sería beneficioso simplificar las tareas de patrullaje y estructurarlas como tareas de nivel avanzado. A los editores experimentados sin permisos de sysops o reversión se les podrían asignar tareas de patrullaje más sencillas o una tarea de formación, y una vez que alcancen un umbral de actividades de patrullaje iniciales, podrán ser promovidos a niveles superiores. Para lograrlo, planeamos empezar con una prueba de concepto para el patrullaje general de ediciones basado en usuarios con permisos de reversión.
We believe that simplifying the patrolling tasks and structuring them as advanced-level tasks would be beneficial. Experienced editors without sysops or rollback rights could be assigned easier patrolling tasks or a training task, and once they reach a threshold of initial patrolling activities, they can be promoted to higher levels. To achieve this, we plan to start with a proof of concept for general patrolling of edits based on users with rollback rights.
Entendemos que patrullar las ediciones recientes es prioritario y más adecuado para móviles que tareas como NPP (Patrullaje de páginas nuevas), AFD (Artículos para borrar) y AFC (Artículos para crear). Además, esperamos que haya consenso en la comunidad sobre la implementación de una tarea de formación en diferentes idiomas.
Validación
- Indicador clave 1: El 65% del público experto que utiliza la herramienta la considera útil para mantener la calidad de las wikis y la recomendaría a otros patrulleros.
- Indicador clave 2: Aumento de las ediciones realizadas por el público experto en un 5%.
- Indicador clave 3: El 10% del público objetivo utiliza las preferencias de filtrado.
- Indicador clave 4: El 65% de los públicos objetivos utilizan la herramienta al menos tres veces en un periodo de treinta días.
- Barandilla de seguridad: Los usuarios experimentados sin permisos de reversión, tanto los que han utilizado herramientas de patrullaje alternativas como los que no, deben comprender igualmente el flujo de trabajo.
- Barandilla de seguridad: No debe haber informes de que la herramienta se utilice para atacar negativamente contenidos o colaboradores infrarrepresentados basándose en los mecanismos de información de la aplicación.
Cosas que sería útil saber
- ¿Cómo se compara el uso de nuestra herramienta con el de otras herramientas de patrullaje cuando se examinan las etiquetas de MediaWiki (SWViewer, Huggle y Twinkle)?
- ¿Vemos un aumento en las acciones de deshacer/revertir/agradecer?
- ¿Cuál es la popularidad de esta tarea entre nuestro público objetivo en comparación con otras tareas de sugerencias de edición?
- ¿Qué acciones son las más populares en esta función?
Risk management
Risk | Cause | Level | Response | Response Action | Trigger | Contingency Plan |
---|---|---|---|---|---|---|
Tool causes a decrease in new editor retention on wikis where it's available | Editors use the tool to increase the volume of edits they're able to revert, but do not leave talk page messages to explain the revert, leaving new editors confused and unmotivated. | Medium | Monitor | Measure the retention rate of editors who had a revert from the patroller task. If they got a talk message, did that increase their retention? | Qualitative complaints | If a user has not left a talk page message after using undo or rollback and attempts to move to next edit, add a prompt asking/requiring them to leave a Talk Page message |
Policy disagreements between existing patrollers and newer patrollers using Edit Patrol / New patrollers use the tool a way that confuses other patrollers. Behavior and/or communication from App patrollers is seen as insufficient or lacking by other patrollers. | A new group of editors are able to start patrolling at scale using Edit Patrol, but they are not aware of existing policies or norms. | Medium | Mitigate | Post updates, and invite to office hours patrolling groups (CVU, recent changes patrol, small wiki monitoring team, stewards, global sysops, global rollbackers) before full release. Share Example Messages with communities. | Qualitative complaints from patrollers | Add more policy and template onboarding to tool, and revisit Example Messages after Community Configuration 2.0 is released. Continue work on building training task. |
An increase in edit wars | Patrollers reviewing the same feed of edits go back and forth reverting each other's changes because revisions or rollbacks made in the tool appear in the feed for the next person (if no filters are applied). | Low | Accept | - | Qualitative complaints | Add more onboarding about policies surrounding Edit Wars. Add in-app warning for edit-war behavior. |
The tool is being used to negatively target underrepresented content or contributors. | Patrollers are systematically reverting good faith edits for particular users or languages, harassing, or mistreating contributors through the tool. | Low | Mitigate | Unless otherwise requested per wiki, the tool available to those with rollback rights. | Qualitative complaints, in-app reporting mechanisms, guardrail analysis by Product Analyst | Add universal code of conduct onboarding to tool. |
The tool causes an increase in vandalism, and increase in amount of work for existing patrollers | Vandals use the streamlined interface to quickly revert or rollback large quantities of good faith edits. | Low (Dormant) | Mitigate | Unless otherwise requested per wiki, the tool available to those with rollback rights. | Qualitative complaints and anomalies surfaced in data reporting | Implement a maximum number of undos/rollbacks that can be done in a range of time. |
Someone is exposed to vandalism or there is a copyright violation in Example Messages provided in-app | A vandal has edited the Example Messages or pasted copyright material in using Community Configuration 2.0 or Translate.wiki, and they automatically appear in everyone's app | Low (Dormant) | Mitigate | Once community configurable, ensure permissions are set for editing with Growth team. | Qualitative complaints | Inrease necessary permissions to edit Example Messages. |
Cómo seguir el hilo
Hemos creado T322083 como nuestro Phabricator Epic para seguir este trabajo. Te invitamos a colaborar con nosotros allí o en nuestra página de discusión.
En esta página ofreceremos actualizaciones periódicas a medida que avancemos. Si estás interesada/o en participar en nuestras sesiones moderadas de comentarios sobre el diseño, háznoslo saber en nuestra página de discusión y nos pondremos en contacto contigo.
Tenemos la siguiente estrategia:
Periodo 2023-2024 | Consulta | Lanzamiento para reversores |
---|---|---|
octubre de 2023 | Wikipedia en indonesio | |
noviembre de 2023 | Wikipedia en indonesio | Wikipedia en indonesio |
enero de 2024 | Wikipedia en español, Wikipedia en francés | |
febrero de 2024 | Wikipedia en español, Wikipedia en francés | |
marzo de 2024 | Wikipedia en chino, Wikipedia en inglés, Wikipedia en igbo | Wikipedia en español, Wikipedia en francés |
abril de 2024 | Wikipedia en inglés, Wikipedia en igbo, Global Sysops and Rollbackers | Wikipedia en inglés, Wikipedia en igbo |
mayo de 2024 | Por definir | Disponible para todas las wikis |
Documentación técnica
Si estás interesado en ver cómo se implementa esta función, visita Notas de desarrollo para patrulleros para obtener más detalles.
Novedades
febrero de 2024
- We hosted two synchronous community consultations & recorded a third where we shared the Edit Patrol workflow, and showed designs for Saved messages and templates:
- French - 21 February 2024 from 16-17 UTC: recording with translation, slides
- Spanish - 28 February 2024 from 16-17 UTC: English recording, recording with Spanish interpretation(passcode: za2.jeE8).
- Chinese - shared via asynchronously: recording, slides, transcripts: Simplified, Traditional
- We've started development on Saved Messages T356774 (example messages available in the App) and access to templates T355141, which was well received by French Wikipedia. Draft saved messages are posted here, and we welcome feedback on the discussion page.
- Another community member raised interest in the example warning messages being configurable via the community config.(T358265#9573393), and we are coordinating with the Growth team on this.
- French Wikipedians reaffirmed the choice of Edit Patrol only being available to rollbackers.
enero de 2024
- Indonesian Wikipedia requested consideration for using Edit Patrol in the upcoming election to fight disinformation and vandalism. Our team had the feature reviewed by our legal team, and volunteers were cleared to use the tool for patrolling during their upcoming election.
- This month we learned that some communities appreciate being able to have speedy deletion as an option in patrolling tools, which we will consider for future iterations of this feature.
- Additionally, our team met with the Growth, Moderator Tools and Machine Learning teams to discuss adding the revert risk model to recent changes filtering. We may be able to switch over from using Good Faith and Damaging ORES scores to the Revert Risk model as we scale to Spanish, French and Chinese Wikipedias in the coming months. This may open the door for an experimental training task for experienced editors without rollback rights.
- We have established demo sessions for our next set of pilot wikis:
- French Moderators - scheduled for 21 February 2024 from 16-17 UTC
- Spanish Moderators - scheduled for 28 February 2024 from 16-17 UTC
- Chinese Moderators - recorded presentation to be shared asynchronous
- We received warning templates from Indonesian Wikipedia, which evaluated alongside other templates to create saved warning messages that will be used in the app.
- Our designer worked on the flow and UI for the saved warning messages and templates, which will be released in the coming months.
- Saved Messages,T356774
-
Choose Talk
-
Select message from list of saved messages
-
Select from list of example messages
-
Create new message
-
Review message and make changes
-
Save as new message or update saved message
-
Review preview and publish (Web view)
-
Edit list of messages by swiping left or right
-
Reorder or delete multiple messages
-
Saved messages are always accessible from the overflow menu
- Template Flow: T355141: The team is working to add support for templates, so patrollers can utilize existing templates in their messages
-
Templates will be accessible from the Wikitext editing toolbar
-
In Saved Messages (Edit Patrol), create a new message
-
Compose message, and open Template icon
-
Search for templates by name, recently used are displayed
-
Fill out template form and insert
-
Message with template inserted. Then follow same steps to, save, preview, publish
diciembre de 2023
- Patrolling Pain Points on French Wikipedia
We met with a few language communities to get feedback about Edit patrol. The Indonesian Wikipedia community approved the release of the feature for their community and shared which templates are used for warnings, which we will incorporate in a future release. For the month of December we are enabling users to save warning messages on their device (T343841). In January we will begin outreach to Spanish and Chinese Wikipedia to scale to more communities. We’ve already begun outreach to French Wikipedia via the French Wikimedia ED, he shared some pain points identified by French patrollers as it relates to RC Live and SWViewer and other tools as it relates specifically to the French Wikipedia community that we are taking into consideration for Edit Patrol. We are hoping to establish office hours sometime in February with French Wikipedia to discuss Edit patrol.
noviembre de 2023
- Release to Indonesian Wikipedia
La Edit Patrol fue implementada en la Wikipedia en indonesio y en la Wikipedia de prueba. Para ver la función en ediciones sugeridas debes tener permisos de reversión o sysops. In order to see the feature in Suggested Edits you must have rollback or sysops rights.
A través de esta primera versión, los reversores son capaces de:
- Introducirse a la tarea con una explicación de cuándo usar Agradecer, Vigilar, Apercibir, Deshacer o Revertir, así como una explicación de las puntuaciones ORES. (T343242)
-
Modalidad de integración 1
-
Modalidad de integración 2
-
Modalidad de integración 3
-
patrullaje de edición 1
-
patrullaje edición 2
- Redactar, guardar y publicar los primeros mensajes de alerta. (T344842)
-
Redactar nuevo mensaje de advertencia
-
Editar nuevo mensaje
-
Volver atrás
-
Asunto vacío
-
Mensaje vacío
-
Guardar cambios
-
Mensaje publicado
-
Intenta publicar sin el título del mensaje
-
Añadir título del mensaje
-
Mensaje guardado y publicado
- Seleccionar, editar, guardar y publicar mensajes de advertencia existentes (T344842)
-
Añadir mensaje
-
Elegir mensaje
-
Mensaje seleccionado
-
Editar mensaje
-
Vista previa del mensaje
-
Publicar, Guardar
-
Guardar nuevo mensaje Título del mensaje vacío
-
Preview message
-
Save changes message
-
Mensaje guardado y publicado
- Ver información sobre otros editores, incluyendo su antigüedad como editor y su recuento de ediciones. (T343835)
-
Menú-lista de ediciones
-
Modalidad de información del usuario
- Los filtros para la sección de cambios recientes incluyen el idioma wiki, el estado de registro, el nivel de experiencia, la predicción de la puntuación de calidad, la predicción de la intención del usuario, las contribuciones automatizadas y la importancia de la edición. La página de filtros también permite ordenar por última revisión. También es posible buscar por ediciones.
- Posibilidad de notificar problemas con el filtro (T343834)
Agradeceremos sus comentarios sobre esta función mientras nos preparamos para llegar a más wikis y expandirla.
septiembre 2023: Avanzando V1 de Tareas de Patrullaje: Desvelando nuevas características a la comunidad de Wikipedia en Indonesia
Continuamos el desarrollo de la V1 de las tareas de patrullaje y anunciamos la función a la Wikipedia en indonesio. Nuestros ingenieros hicieron una demostración de los filtros de la tarea de patrullaje V1:
-
Sin resultados
-
Reiniciar filtros
-
Filtros estándar
agosto de 2023: Actualizaciones del proyecto y consideraciones técnicas
- We shared updates about this project at Wikimania. The recording can be found on Youtube starting at 1:24:30. We received a question about having a central place for Warning messages that can be used across apps. We are planning to work with the Growth team to explore the possibility of centralized warning messages.
- We became aware of the deprecation of ORES and migration to Liftwing which will host the revertrisk model. Due to our team using the MediaWiki API to show the recent edits feed, we will continue to show the Goodfaith and Damaging Models at least in V1. Using the Revert Risk model would require two API calls, which could slow down the feature, this also doesn’t address filtering. If you have feedback about this technical decision, feel free to comment on our discussion page.
- We created designs for Onboarding to the feature T343242.
-
Explicando el propósito de la función
-
Lista de las principales acciones
-
Datos recopilados
-
Explicación del puntaje de calidad
-
Explicación del puntaje de "intención"
-
Indicando dónde se pueden enviar comentarios sobre la función
julio de 2023: Investigación de diseño y resultados de las entrevistas
Pruebas de usabilidad
Se realizó una prueba de usabilidad remota moderada en la que participaron seis colaboradores experimentados que utilizan dispositivos Android y dedican voluntariamente su tiempo a actividades de supervisión en wikis en español, francés, inglés y chino. Seleccionamos participantes de estas wikis debido a su elevado número de editores con permisos de sysop/reversión, lo que nos permitió recopilar comentarios de usabilidad de forma eficaz.
Los patrulleros aportaron valiosas ideas sobre los primeros diseños y la facilidad de uso de la herramienta "editar patrulla".
Durante la prueba, se encargó a los editores que completaran tareas breves utilizando un prototipo limitado de la herramienta. También se les pidió que narraran en tiempo real su experiencia mientras realizaban estas tareas.
-
Encuentra la herramienta en la aplicación
-
Elige una edición de la lista de ediciones recientes
-
Revisa las diferencias y la información adicional en la página
-
Decidir si la edición debe revertirse
-
Envía un mensaje de advertencia al editor
-
Añade la página a la lista de seguimiento
For additional details about the usability test, please refer to the following link.
Resultados
La retroalimentación y las valiosas sugerencias de los participantes han contribuido a mejorar los diseños iniciales. Se implementaron las siguientes mejoras:
- Los participantes expresaron el deseo de que se mostraran etiquetas para cada edición en la página de ediciones recientes, y la capacidad de discernir si un editor hizo múltiples ediciones en una sola página.
-
Lista de ediciones anteriores
-
Nueva lista de ediciones
-
Menú desplegable para ver las ediciones realizadas por el mismo editor en la misma página
- Nuestro objetivo era incorporar filtros en la página donde se muestran las ediciones recientes. Para determinar los filtros para la versión inicial de la herramienta "Editar patrulla", consultamos a los patrulleros. Sugirieron incluir los siguientes filtros: idiomas, registro y experiencia de usuario, contribuciones automatizadas, predicciones de calidad de la contribución, predicciones sobre la intención del usuario, última revisión y importancia. Posteriormente, diseñamos una página que presenta estos filtros, que se presenta a continuación.
-
Filtros
- La página de vista de diferencias se simplificó
-
Página anterior de vista de diferencias
-
Página anterior de vista de diferencias con hoja inferior completa
-
Nueva página de vista de diferencias
- Se han aplicado pequeñas mejoras en el diseño al proceso de creación, almacenamiento, publicación y edición de mensajes de advertencia para los patrulleros. Los diseños revisados se muestran a continuación para su referencia.
-
Redactar un nuevo mensaje de advertencia
-
Elegir un mensaje de advertencia guardado
- Los participantes aportaron más comentarios sobre el patrullaje, que pretendemos difundir dentro de la herramienta a través de la incorporación, los consejos sobre herramientas o los recordatorios. Los puntos incluyen: la importancia de comunicarse con empatía con los colaboradores, y el énfasis en dar prioridad a la calidad de las ediciones controladas sobre su cantidad.
La herramienta "Editar patrulla" está actualmente en fase de desarrollo, y puedes seguir su progreso a través de Phabricator T343224.
febrero de 2023: Conceptos iniciales de diseño
El equipo desarrolló conceptos iniciales de diseño incorporando ideas de herramientas existentes y comentarios que reunimos sobre sus limitaciones. Compartimos estos conceptos con el equipo de herramientas de moderadores y equipo de investigación para su aportación y retroalimentación.
-
Concept for filtering contribution date, ORES Scores or Language
-
Design concept for expanding the bottom sheet
-
Design concepts for the overflow menu
-
Design concept for using templates when leaving a warning
Utilizaremos los comentarios recibidos para mejorar los conceptos de diseño y establecer un protocolo tanto para comentarios moderados como para comentarios asíncronos de los usuarios de la app. Actualmente, estamos iniciando una campaña directa para programar sesiones de retroalimentación moderadas y asegurar que se establezcan mecanismos de traducción para esas sesiones. Una vez que el protocolo esté disponible en MediaWiki, enviaremos una comunicación más amplia para comenzar a recopilar comentarios asíncronos en nuestra página de discusión.
Los conceptos de diseño proporcionados tienen por objeto ofrecer ejemplos de cómo pretendemos abordar los problemas que enfrentan otras herramientas. Sin embargo, ten en cuenta que estamos en las primeras etapas de este proceso, y los diseños evolucionarán y se expandirán en función de los comentarios que recibamos en las próximas semanas.
enero de 2023: Revisión comparativa e investigación de usuarios existentes
El equipo realizó una revisión comparativa para analizar las herramientas de patrullaje existentes. Durante la revisión, evaluamos las similitudes y diferencias entre las herramientas y identificamos cuáles eran efectivas en los dispositivos móviles.
La lista completa de herramientas que revisamos incluye:
- Huggle
- Twinkle
- TwinkleMobile
- STiki
- SWViewer
- WikiLoop Double Check
- CheckWiki
- ReWarn
- CheckWiki
A través de nuestra evaluación, encontramos que la mayoría de las herramientas fueron optimizadas para uso de escritorio, con solo tres excepciones. Además, solo dos de las soluciones anteriores funcionaron bien en varias wikis idiomáticas.
Los elementos comunes encontrados en estas herramientas fueron:
- Iconos para representar la acción principal (por ejemplo, revertir, eliminar rápidamente, bienvenida a usuario, etc.)
- Acceso a plantillas
- Filtros
- Lista de contribuciones
- Diffs
- Información sobre el editor
Además de la revisión comparativa de las herramientas existentes, también recogimos solicitudes recurrentes de los patrulleros sobre esas herramientas. Entre las solicitudes comunes se incluyen:
- Filtrar las contribuciones por temas de interés y período de tiempo específico
- Una forma fácil de excluir las contribuciones que ya han sido patrulladas
- No se requieren privilegios especiales como permisos de reversión para acceder a las herramientas
- Una opción entre "salto" y "reversión" para acciones más matizadas
- Herramientas que promueven la colaboración entre los patrulleros
Teniendo en cuenta estas solicitudes, nuestro objetivo es desarrollar una solución de patrullaje integral que aborde las necesidades y preferencias de los patrulleros en varios idiomas y niveles de experiencia del usuario.
diciembre de 2022: Prototipo de prueba de concepto
El equipo desarrolló un prototipo de prueba de concepto para explorar las capacidades y posibilidades utilizando las API existentes. El prototipo nos permitió probar y experimentar con diferentes funcionalidades y evaluar la viabilidad de nuestras ideas. Esta exploración temprana nos ayuda a comprender el potencial de las herramientas y a refinar nuestro enfoque antes de avanzar en el desarrollo posterior.
-
Prueba de concepto de la tarea de patrullaje antivandálico
-
Anti-vandalism patrolling proof of concept
-
Grabación de pantalla del prototipo
Durante nuestro proceso de desarrollo, exhibimos con éxito el puntaje ORES, que proporciona a los usuarios una indicación de la probabilidad de que algo pueda ser vandalismo. Esta función permite a los usuarios obtener información sobre la calidad de las ediciones y les ayuda a tomar decisiones informadas durante el proceso de patrullaje. Idealmente enviaríamos comentarios a la API del equipo de investigación para mejoras, lo que será valioso para mejorar la precisión y eficacia de la puntuación ORES.
noviembre de 2022: Definición del público inicial
El equipo llevó a cabo una investigación (T322065) para evaluar el número de usuarios de la aplicación Wikipedia con permisos de sysops y reversión. Los resultados revelaron que 372 usuarios de aplicaciones Android y 176 usuarios de iOS tenían estos permisos. Basándonos en estos datos, decidimos priorizar el lanzamiento de la función en la aplicación Android, permitiendo al equipo de desarrollo de iOS centrarse en construir la función de listas de seguimiento.
Además, buscamos comprender la distribución de los usuarios con permisos de sysops y reversión en diferentes idiomas. Esta información desempeñó un papel crucial en la determinación de las comunidades de idiomas objetivos iniciales para nuestro alcance directo durante la fase inicial de investigación. Al centrarnos en estas comunidades de idiomas específicas, nos proponemos obtener valiosas ideas y comentarios de los usuarios que tienen experiencia en moderación y patrullaje, lo que será fundamental para dar forma al desarrollo de la función para un uso más amplio:
- Wikipedia en inglés
- Wikipedia en francés
- Wikipedia en chino
- Wikipedia en español
Mientras nos centramos en la divulgación directa a comunidades de wiki de idiomas específicos y usuarios de sistemas operativos, queremos enfatizar que damos la bienvenida y alentamos en gran medida la retroalimentación e ideas de cualquier usuario de la aplicación con experiencia en patrullaje. También valoramos la aportación de los usuarios de la Web, pero nuestra prioridad será recopilar comentarios de los usuarios de las apps.
Es esencial crear una experiencia unificada en todas las plataformas, y para lograrlo, estamos en estrecha comunicación con el equipo de Herramientas del Moderador, que construirá experiencias para los usuarios de la web. Aprendiendo de sus descubrimientos y colaborando estrechamente, pretendemos garantizar la continuidad y la coherencia tanto en la aplicación como en las plataformas web. Tus comentarios e ideas desempeñarán un papel crucial en el desarrollo y la mejora de la función de patrulla para todos los usuarios.