Wikimedia Apps/Team/Android/Machine Assisted Article Descriptions/es



Antecedentes del experimento
El equipo de Android está colaborando con Research y EPFL para mejorar las descripciones de los artículos, también conocidas como descripciones breves.

Actualmente los usuarios de la aplicación Android pueden crear y editar descripciones de artículos a través de ediciones sugeridas. Las descripciones de los artículos se envían a Wikidata, a excepción de las descripciones de los artículos de la Wikipedia en inglés. El equipo de Android ha recibido comentarios de que los nuevos usuarios producen descripciones de artículos de baja calidad (T279702). En 2022, el equipo impuso una restricción temporal a las ediciones sugeridas para los usuarios que tenían menos de 3 ediciones de la Wikipedia en inglés (T304621) con la intención de encontrar métodos para mejorar la calidad de las descripciones de los artículos por parte de los nuevos usuarios. Article descriptions go to Wikidata with the exception of article descriptions for English Wikipedia. The Android team has received feedback that new users produce low-quality article descriptions (T279702). In 2022, the team placed a temporary restriction on Suggested Edits for users that had less than 3 edits for English Wikipedia users (T304621) with the intent on finding methods of improving the quality of article descriptions by new users.

EPFL y Research se pusieron en contacto con el equipo de Android con un modelo llamado Descartes, que es un modelo que puede generar descripciones con un rendimiento a la par con los editores humanos. Descartes toma la información de la página de un artículo de Wikipedia y proporciona una breve descripción del artículo, al tiempo que se adhiere a la guía de lo que hace que la descripción de un artículo sea útil. Durante la evaluación inicial del modelo, se prefirió más del 50 de las veces que las descripciones de artículos generadas por humanos. Además, Descartes obtuvo un 91,3% de precisión en las pruebas. A pesar de estos resultados tan prometedores, el equipo quiso actuar con la debida diligencia realizando una prueba ABC para garantizar que las sugerencias mejoraran la calidad de las descripciones de los artículos cuando se sugirieran a nuevos editores, sin introducir o aumentar el sesgo existente. Hemos creado una API alojada en Toolforge e integraremos el modelo en nuestra interfaz actual para llevar a cabo nuestro experimento. Patrullaremos las ediciones realizadas a través del experimento en colaboración con voluntarios para no sobrecargar a los patrulleros. Descartes takes the information on a Wikipedia article page and provides a short description of the article while adhering to the guidance of what makes an article description helpful. During initial evaluation of the model, it was preferred more than 50% of the time over human generated article descriptions. Additionally, Descartes held a 91.3% accuracy rate in testing. Despite these very promising results, the team wanted to do our due diligence by conducting an ABC test to ensure the suggestions will improve the quality of article descriptions when suggested to new editors, without introducing or increasing existing bias. We created an API which is hosted on Toolforge and will integrate the model into our existing interface in order to conduct our experiment. We will patrol edits made through the experiment in partnership with volunteers to not burden patrollers.



Requisitos del producto

 * * Los usuarios pueden dar su opinión sobre sugerencias concretas si detectan problemas.
 * Acomodar dos sugerencias generadas por máquina para probar qué haz es más preciso
 * Incorporar usuarios a las sugerencias generadas por máquinas
 * Ventanas emergentes de recordatorio de comprobación de sesgo al hacer clic en una sugerencia sobre una biografía
 * Sólo los usuarios experimentados podrán ver sugerencias de biografías
 * Posibilidad de que los usuarios escriban su propia respuesta y editen una sugerencia
 * Incorporar un icono que identifique que el producto utiliza aprendizaje automático
 * Compatibilidad multilingüe con mBART25
 * Accommodate two machine generated suggestions to test which beam is more accurate
 * Onboard users to Machine Generated suggestions
 * Reminder popups of checking for bias when clicking a suggestion on a biography
 * Only experienced users will see suggestions for biographies
 * Ability for users to write in their own response and edit a suggestion
 * Incorporate icon that identifies the product uses machine learning
 * Multilingual compatibility with mBART25



Objetivo e indicadores
Como primer paso en la implementación de este proyecto, el equipo de Android desarrollará un MVP con el propósito de:


 * 1) # Determinar si las sugerencias realizadas a través del modelo Descartes aumentan la calidad de las adiciones y ediciones de descripciones de artículos realizadas utilizando la aplicación Android de Wikipedia. Para entender cómo la descripción del artículo sugerida cambia el comportamiento del usuario evaluaremos:
 * 2) * Si la introducción de sugerencias altera la adherencia del tipo de tarea a lo largo del tiempo de edición
 * 3) * Variabilidad en el tiempo de finalización de la tarea en relación con la calidad de las ediciones
 * 4) * Frecuencia con la que los usuarios modifican las sugerencias antes de publicarlas
 * 5) * El diseño y el flujo de trabajo del usuario óptimos para fomentar la precisión y la retención de tareas
 * 6) * ¿Qué medidas adicionales deben adoptarse, en su caso, para desalentar las sugerencias erróneas o tendenciosas?
 * 7) Determinar si el algoritmo se mantiene cuando se expone a más usuarios:
 * 8) * ¿Cambia la precisión y el índice de preferencia cuando se expone a más usuarios?
 * 9) * ¿Varía mucho la precisión y el índice de preferencia de uso de la sugerencia según las lenguas?
 * 10) * ¿Introduce el algoritmo sesgos (por ejemplo, errores de género) o no representa con precisión los matices críticos de las biografías de personas vivas?
 * 11) * ¿Cómo cambia el índice de precisión y el rendimiento cuando se muestra más de una sugerencia? To understand how the suggested article description changes user behavior, we will evaluate:
 * 12) * If introduction of suggestions alters the stickiness of the task type across editing tenure
 * 13) * Variability in task completion time relative to quality of edits
 * 14) * How often users modify suggestions before hitting publish
 * 15) * The optimal design and user workflow to encourage accuracy and task retention
 * 16) * What, if any, additional measures need to be in place to discourage bad or bias suggestions
 * 17) Determine if the algorithm holds up when exposed to more users:
 * 18) * Does the accuracy and preference rate change when exposed to more users
 * 19) * Does the accuracy and preference rate of using the suggestion vary greatly across languages
 * 20) * Is the algorithm introducing bias (e.g. misgendering) or not accurately representing critical nuance for Biographies of Living Persons
 * 21) * How does the accuracy rate and performance change when showing more than one suggestion

Si el experimento de 30 días muestra resultados prometedores basados en los indicadores anteriores, el equipo introducirá la función a todos los usuarios y eliminará nuestro requisito de 3 ediciones para las ediciones sugeridas. También tomaremos medidas para ampliar el número de idiomas a mBART 50 y migrar la API de toolforge a un hogar más permanente. We will also take steps to expand the number of languages to mBART 50 and migrate the API from toolforge to a more permanent home.



Evaluadores voluntarios
El equipo se asociará con voluntarios para patrullar las ediciones realizadas durante el tiempo del experimento y asignar una calificación a la edición.

Esto servirá para determinar si la calidad de las ediciones aumenta cuando se utilizan descripciones de artículos generadas automáticamente. Los evaluadores voluntarios pueden inscribirse a continuación o ponerse en contacto con ARamadan-WMF. Volunteer graders can sign up below or reach out to ARamadan-WMF.

El compromiso para servir como evaluador voluntario es de hasta una hora a la semana durante cuatro semanas.

Decision to be made
This A/B test will help us make the following decision:


 * Expand the feature to all users
 * Use suggestion as a means to train new users and remove 3 edit minimum gate
 * Migrate model to more permanent API
 * Show 1 or 2 beams
 * Expand to mBART 50

ABC Logic Explanation

The only users that will see the suggestions are those in mBART25
 * Experiment will include only logged in users, in order to stabilize distribution.
 * Of those in mBART25 half will see suggestions (B: Treatment) and half will not see suggestions (Control)
 * Of those in mBART25 only users that have more than 50 edits can see suggestions for Biographies of Living Persons, and if the users are in the non-BLP group, they will remain in it, even if they cross 50 edits during the experiment.

Additionally, we care about how the answers to our experiment will differ by language wiki and user experience (<50 New vs. 50+ Experienced).

Decision to be made

 * If the accuracy rate for edits that came from the suggestion is less than those manually written, we will not keep the feature in the app. The accuracy rate will be determined based on manual patrolling.
 * If the accuracy rate for edits that came from the suggestion is less than 80%, we will not keep the feature in the app. The accuracy rate will be determined based on manual patrolling.
 * If the time spent to complete the task using the suggestion is double the average rate as those that do not see suggestions we will need to compare it to reports to see if there are performance issues
 * If time spent to complete the task using the suggestion is less than the average without a negative impact to accuracy rate, we will consider it a positive indicator to expand the feature to more users
 * If users that see the suggestion modify the suggestions more often than submitting it without modification, we will evaluate its accuracy rate compared to users that did not see the suggestions and determine if the suggestion is a good starting point for users and how it differs by user experience
 * If users that see the suggestion modify the suggestions more often than submitting them without modification, we will look for trends in the modification and offer a recommendation to EPFL to update the model
 * If beam one is chosen more than 25% of the time than beam two while having an equal or higher accuracy rate, we will only show beam one in the future
 * If users that see treatment return to the task multiple times (1,2,7,14 days) at a rate 15% or more than the control group without a negative impact to accuracy, we will take steps to expand the feature
 * If our risks are triggered we will implement our contingency plan
 * If users that see the treatment do not select a suggestion more than 50% of the time after viewing the suggestions, we will not expand the feature

In aggregate, there should be at least 1500 people with a stretch goal of **2,000 people** and 4,000 edits included in the A/B test across the following mBART25 wikis: English, Russian, Vietnamese, Japanese, German, Romanian, French, Finnish, Korean, Spanish, Chinese (sim), Italian, Dutch, Arabic, Turkish, Hindi, Czech, Lithuanian, Latvian, Kazakh, Estonian, Nepali, Sinhala, Gujarati, and Burmese.



Gestión de riesgos
Cada vez que se utiliza Machine Learning introducimos una mayor cantidad de riesgos de los que ya implica el desarrollo de software. Por ese motivo, estamos siguiendo y gestionando los riesgos asociados a este proyecto junto con nuestro equipo legal y de seguridad. For that reason, we are tracking and managing risks associated with this project alongside our Security and Legal team.



Cómo seguir
Hemos creado T316375 como nuestro Phabricator Epic para seguir este trabajo. Te animamos a colaborar allí o en nuestra página de discusión.

También habrá actualizaciones periódicas de esta página a medida que avancemos. También puede probar el modelo en https://ml-article-descriptions.toolforge.org/.

August 2023
We’ve officially received grades for all languages and are now finalizing analysis. We will share the outcomes in next month’s update as well as our recommendations for next steps based on the experiment.

July 2023: Early Insights from 32 Days of Data Analysis: Grading Scores and Editing Patterns
We can not complete our data analysis until all entries have been graded so that we have an accurate grading score. However we do have early insights we can share. These insights are based on 32 days of data:
 * 3968 Articles with Machine Edits were exposed to 375 editors.
 * Note: Exposed does not mean selected.
 * 2125 Machine edits were published by 256 editors
 * Editors with 50+ edits completed three times the amount of edits per unique compared to editors with less than 50 edits

May 2023: Experiment Deactivated & Volunteers Evaluate Article Short Descriptions
The experiment has officially been deactivated and we are now in a period of edits being graded.

Volunteers across several language Wikis have begun to evaluate both human generated and machine assisted article short descriptions.

We express our sincere gratitude and appreciation to all the volunteers, and have added a dedicated section to honor their efforts on the project page. Thank you for your support!

We are still welcoming support from the following language Wikipedias for grading: Arabic, English, French, German, Italian, Japanese, Russian, Spanish, and Turkish languages.

If you are interested in joining us for this incredible project, please reach out to Amal Ramadan. We look forward to collaborating with passionate individuals like you!

April 2023: FAQ Page and Model Card
We released our experiment in the 25 mBART languages this month and it will run until mid-May. Prior to release we added a model card to our FAQ page to provide transparency into how the model works.



Enero de 2023: Diseños actualizados
Tras determinar que las sugerencias podían integrarse en las descripciones de los artículos existentes, el equipo de Android actualizó nuestro diseño.

Si un usuario informa de una sugerencia, verá el mismo cuadro de diálogo que propusimos en nuestra actualización de agosto de 2022 como lo que se verá si alguien hace clic en No estoy seguro.

Este nuevo diseño significa que permitiremos a los usuarios publicar sus ediciones, como podrían hacerlo sin las sugerencias generadas por la máquina. Sin embargo, nuestro equipo controlará las ediciones que se realicen a través de este experimento para garantizar que no abrumamos a los patrulleros voluntarios. Además, los nuevos usuarios no recibirán sugerencias para biografías de personas vivas.



Noviembre de 2022: Desarrollo de la API
El equipo de investigación puso el modelo en toolforge y probó el rendimiento de la API. Los primeros datos revelaron que se tardaban entre 5 y 10 segundos en generar sugerencias, lo que también variaba en función del número de sugerencias que se mostraban. El rendimiento mejoraba a medida que disminuía el número de sugerencias generadas. Para solucionar este problema se precargaron algunas sugerencias, se restringió el número de sugerencias que se mostraban cuando se integraban en las descripciones de los artículos y se modificaron los flujos de usuario para garantizar que las sugerencias se generaran en segundo plano.

August 2022: Initial Design Concepts and Guardrails for Bias
Historia de usuario para el descubrimiento

Cuando utilizo la aplicación de Wikipedia para Android, he iniciado sesión y descubro un tooltip sobre una nueva función de edición, quiero que me informen sobre la tarea para poder probarla. Pregunta abierta: ¿Cuándo debe verse esta información sobre herramientas en relación con otras?

Historia de usuario para la educación

Cuando quiero probar la función de descripción de artículos, quiero que me informen sobre la tarea, para que mis expectativas sean correctas.

Guardrails for bias and harm
The team generated possible guardrails for bias and harm:


 * Harm: problematic text recommendations
 * Guardrail: blocklist of words never to use
 * Guardrail: check for stereotypes – e.g., gendered language + occupations
 * Harm: poor quality of recommendations
 * Guardrail: minimum amount of information in article
 * Guardrail: verify performance by knowledge gap
 * Harm: recommendations only for some types of articles
 * Guardrail: monitor edit distribution by topic

Gratitude and Appreciation for the Dedicated Volunteers of the Article Description Grading Project
We want to take a moment to express our deepest gratitude and heartfelt appreciation to each and every dedicated volunteer who has selflessly offered their time and unwavering support to the article description grading project. As the Apps Team at the Wikimedia Foundation, we are truly humbled by your invaluable contribution.

Your unwavering commitment to diligently patrol edits made during the experiment and wholeheartedly assign grades to them has played an irreplaceable role in helping us understand the impact of machine-generated article descriptions on the quality of edits. Your exceptional vigilance and unwavering dedication are the cornerstones of our collective efforts.

Your active participation in this project goes far beyond mere involvement; it represents a genuine and profound commitment to advancing the Wikimedia mission. Through your tireless efforts, our platforms continue to evolve and improve, creating an enhanced and enriching user experience for millions around the globe.

The boundless enthusiasm and unyielding passion you bring to the table truly inspire us. Together, we are forging a path toward a future where knowledge and accessibility know no bounds within the realm of our Wikipedia Android App.

Once again, we want to express our sincerest thanks for your extraordinary support and unwavering dedication. Your invaluable contributions are the lifeblood of this project and the broader Wikipedia community. And countless users who preferred to remain anonymous.