Crecimiento/Experimento para una activación constructiva
|
Experimento para la activación constructiva
 Experimentos para aumentar el porcentaje de nuevos/as usuarios/as que editan de forma constructiva
|
Como parte del Plan Anual 2024/2025 del equipo de Crecimiento, este equipo estudiará diversas formas de aumentar la activación constructiva en móvil.
Esta página del proyecto documenta la experimentación del equipo de Crecimiento relacionada con el Plan Anual 2024-2025 de la Fundación Wikimedia, específicamente el Resultado Clave Experiencias Wiki 1.2.
Estatus actual
- junio de 2024 – planificar y compartir la hipótesis inicial
- septiembre de 2024 – pruebas de usuario de prototipos de diseño
- noviembre de 2024 – iniciar consultas comunitarias con nuestras wikis piloto
- noviembre de 2024 – release "Add a Link" A/B test at English Wikipedia
- diciembre de 2024 – conduct a temporary "Surfacing Structured Tasks" test at pilot wikis
- febrero de 2025 – release "Surfacing Structured Tasks" A/B test at pilot wikis
- junio de 2025 – end "Surfacing Structured Tasks" A/B test at pilot wikis
- julio de 2025 – experiment analysis published: Add-a-link Experiment on Enwiki and Surfacing Add-a-link in Read Mode
Resumen
Las formas de edición actuales de páginas completas requieren demasiado contexto, paciencia y ensayo y error para que las personas novatas puedan contribuir de forma constructiva. To support a new generation of volunteers, we will increase the number and availability of smaller, structured, and more task-specific editing workflows (e.g. Edit check and Structured Tasks). The Growth team will primarily focus on Structured Tasks, while working closely with the Editing team to ensure our work integrates well with Edit Check.
Este proyecto pretende mitigar el siguiente problema de usuario:
Empezar a editar en Wikipedia es difícil y especialmente frustrante en dispositivos móviles. Quiero que la interfaz de edición me proporcione la política y la orientación técnica que necesito en el momento, para que mis esfuerzos iniciales no se reviertan.
Este proyecto pretende lograr el siguiente resultado para las personas usuarias:
Como nuevo persona voluntaria en Wikipedia, siento confianza y entusiasmado por contribuir al movimiento Wikimedia editando artículos de Wikipedia. Las herramientas proporcionadas me guían paso a paso, limitan las distracciones y me permiten aprender progresivamente para poder contribuir con éxito desde mi dispositivo móvil.
Contexto
¿Cómo encaja este trabajo en el Plan Anual de la Fundación Wikimedia?
Experiencias Wiki 1: Experiencia de los colaboradores objetivo
Bajo el Objetivo de Infraestructura de la Fundación Wikimedia, y dentro del grupo de objetivos centrados en Experiencias Wiki, se encuentra un objetivo relacionado con la mejora de la experiencia de las personas colaboradoras:
- Experiencias Wiki 1: Experiencia del colaborador Objetivo - Tanto las personas colaboradoras experimentadas como las nuevas se reúnen en línea para construir una enciclopedia fiable, con más facilidad y menos frustraciones.
Experiencias Wiki 1.2 Resultado clave
Dentro del objetivo Experiencia del contribuyente, hay un resultado clave centrado en aumentar la activación constructiva de las personas recién llegadas en el móvil:
- Experiencias Wiki 1.2 (WE1.2) Resultado clave - La implantación generalizada de intervenciones ha demostrado que provoca un aumento relativo interanual del 10% en el porcentaje de personas recién llegadas que publican ≥1 edición constructiva en el espacio de nombres principal en un dispositivo móvil, medido mediante experimentos controlados.
Varios equipos de la Fundación Wikimedia se han comprometido a trabajar en proyectos bajo el resultado clave WE1.2: Hipótesis del proyecto.
Growth Team Hypotheses
| Hipótesis del equipo de crecimiento | Cronología | Tarea principal de Phabricator |
|---|---|---|
| Experiencias Wiki 1.2.3:
Si llevamos a cabo pruebas de usuario en dos o más prototipos de diseño introduciendo Tareas Estructuradas a las personas recién registradas dentro/cerca del Editor Visual, entonces podemos aprender rápidamente qué diseños funcionarían mejor para esas personas novatas, mientras que también permite al equipo evaluar la viabilidad técnica y estimar el esfuerzo para cada enfoque. |
julio de 2024 - septiembre de 2024 | T362584 |
| Wiki Experiencia 1.2.6:
If we release a way for people to act on “Add a link” suggestions from an article in Wikipedia to Beta, we will set the stage for an experiment in early Q3, where we aim to increase the percentage of new account holders who constructively activate on mobile by 10% compared to the baseline. |
octubre de 2024 - diciembre de 2024 | T368187 |
| Wiki Experiences 1.2.9:
If we surface the ‘Add a Link’ Structured Task to new account holders who are reading Wikipedia articles through an A/B test on pilot wikis, then we expect to increase the percentage of these people who constructively activate on mobile by 10% compared to the control group. |
enero de 2025 - marzo de 2025 | T385343 |
| Wiki Experiences 1.2.11:
If we release the “Add a Link” Structured Task to at least 5% percent of newcomers on English Wikipedia, then newcomers with access to this structured task will demonstrate a constructive activation rate on mobile that is 10% percent higher than the baseline, as measured through an A/B test. |
enero de 2025 - marzo de 2025 | T382603 |
| Wiki Experiences 1.2.16:
If we complete at least two “Add a Link” improvements that communities are asking for, then we can increase the percentage of newcomers at English Wikipedia to whom the task is available, which will increase constructive activation on our largest wiki. |
abril de 2025 - junio de 2025 | T389288 |
| Wiki Experiences 1.2.17:
If we send accounts with 0 edits a supportive notification with a Suggested Edit recommendation within 24 hours of account creation, then we will increase constructive activation. *An Echo notification and an email if the account has an associated email address. |
mayo de 2025 - julio de 2025 | T392256 |
¿Cómo definimos activación constructiva?
Para la WE1.2 nos estamos centrando en nuevos/as usuaris/as en móvil, por lo que activación constructiva se define como una persona recién llegada que hace al menos una edición en un artículo en el espacio de nombres principal de un proyecto de Wikipedia desde un dispositivo móvil dentro de las 24 horas siguientes a su registro (también desde dispositivo móvil) y que esa edición no sea revertida dentro de las 48 horas siguientes a su publicación. Esto se medirá por plataforma (mediremos la activación de la web móvil y de la aplicación móvil por separado).
¿En qué investigaciones y datos se basan estos experimentos?
Este trabajo se guía por las siguientes observaciones y los datos e investigaciones asociados: La mayoría de los titulares de cuentas nuevas en Wikipedia nunca llegan a realizar ni siquiera una edición inicial.
Los flujos de trabajo estructurados y específicos para cada tarea hacen que más personas novatas publiquen una edición constructiva.
- Investigación de tareas estucturadas – Añadir un enlace & Añadie una imagen
- Investigación de la página de discusión – Herramienta de respuesta & Herramienta de nuevo tema
- Análisis experimental de las tareas de las personas recién llegadas
A las personas recién llegadas les cuesta darse cuenta, comprender y aplicar las políticas que dan forma a Wikipedia.
Cada vez se registran menos editores nuevos en Wikipedia.
- Estadísticas de Wikimedia: Nuevos usuarios registrados
- Investigar la caída de Nuevos Editores T351759
La mayoría de las páginas vistas en Wikipedia proceden de móviles.
Discusión comunitaria
Hemos discutido el concepto más amplio detrás de este proyecto con las comunidades como parte de la Discusión sobre el plan anual de la WMF de Producto y Tecnología, recogimos feedback entre quienes asistieron a Wikimania, y también iniciaremos una consulta comunitaria más detallada con nuestras wikis piloto (Wikipedia en árabe y español) tan pronto como los diseños iniciales estén disponibles para compartir. (T372957)
Diseño
Hemos explorado tres enfoques diferentes para mostrar tareas estructuradas, y hemos considerado qué momentos del proceso de edición eran los más apropiados para presentar una sugerencia de edición. Decidimos probar y avanzar con dos enfoques durante la experiencia de lectura (capturas de pantalla 1 y 2), y otro durante el proceso de edición, dentro del Editor Visual (3).
-
(1) -
(2) -
(3)
Realizamos pruebas de usuario no moderadas con participantes familiarizados con Wikipedia, pero con experiencia limitada en cuanto a edición y contribución a la misma. Los objetivos principales eran:
- Entender cuál de los tres diseños era el más prometedor para los/as usuarios/as,
- Corroborar si es más o menos probable que se planteen editar en el futuro sabiendo que disponen de este tipo de ayuda, y
- Reconocer cuáles de las opciones de texto resuenan mejor entre quienes participan.
Perspectivas de las pruebas de usuarios/as
En general, la idea de presentar una sugerencia de edición en el Editor visual fue bien recibida. Todos las personas participantes (6/6) expresaron que probablemente considerarían la posibilidad de editar sabiendo que este tipo de ayuda está disponible, y que sentirían motivación para completar una edición. En cuanto a los distintos enfoques, «el enfoque uno fue el más prometedor para la mayoría de las personas participantes» (4/6). In terms of the different approaches, approach one was the most promising for most participants (4/6).
«La primera experiencia es mejor, ofrece ayuda en línea con la edición».
Sin embargo, surgieron muchas dudas sobre el significado real de la etiqueta amarilla. Quienes participaron asumieron diferentes significados, por ejemplo que la etiqueta era representativa de un enlace roto, un bot o un texto editado recientemente.
Para el enfoque dos, los participantes apreciaron las etiquetas de dificultad + estimación de tiempo.
«Si sólo se tarda de 2 a 3 minutos, no es para tanto. Si dice que es fácil, entonces es más probable que lo haga».
El tercer enfoque no tuvo mucho éxito, pero «los participantes expresaron su satisfacción».
«No me pareció [el modo] confuso ni intrusivo. Creo que, de hecho, fue alentador».
«Me sentiría inclinado [a editar], sobre todo si se diera una situación en la que me olvidara de que estaba editando o aún no hubiera terminado de editar. Así que sin duda es un buen recordatorio».
«Me inclinaría más por hacer clic en 'Ayuda para añadir un enlace' porque creo que casi lo haría por mí, y siento que he conseguido algo»
En cuanto al texto, presentamos 4 opciones y pedimos a las personas participantes que mencionaran qué versión del texto les parecía más atractiva. Estas fueron las dos opciones más acertadas, descritas como cautivadoras, concisas y atractivas:
«¿Debería enlazarse este texto? Este artículo viene con una sencilla sugerencia de edición para añadir enlaces que le guía paso a paso por el proceso. ¿Le gustaría revisarlo?»
«Conecta el conocimiento: Enlaza este artículo con otros y mejora la red de información de Wikipedia.»
Próximos pasos
Como estamos planificando nuestro trabajo futuro, estas pruebas nos ayudaron a comprender y reconocer posibles mejoras adicionales. Algunas de ellas son:
- Mejorar el texto
- Replanteamiento de la etiqueta amarilla para el enfoque uno
- Considerar la posibilidad de añadir etiquetas de estimación de dificultad+tiempo a todos los enfoques.
Second iteration design
Based on insights from user testing, we’ve made targeted updates to the initial design. While this version is not final, it’s intended to be a functional prototype that enables us to evaluate the feature’s impact on constructive activation and newcomer retention.
If early results are promising, we plan to invest in additional improvements, including a lightweight opt-out option and exploring streamlined workflows that don’t require launching the full Visual Editor experience.
Medición y Resultados
Temporary Alpha Test
In December 2024, the Growth team conducted a temporary alpha test to quickly gather data and assess how many new account holders would encounter "Add a Link" tasks in the Read view.
The test revealed that the current volume of "Add a Link" tasks was too low to support a statistically significant experiment or drive a meaningful increase in newcomer activation.
Based on these findings, we prioritized the following improvements before launching the Pilot Experiment:
- Improving the "Add a Link" Task Flow: To enhance the user experience and address patroller concerns, we’re updating the task flow so that when a user initiates the task from the Read view, only the specific link they tapped on will be surfaced (T381450). Patrollers have noted that when some links in an edit are incorrect, fixing them requires more effort than a simple revert. This change also aims to reduce that frustration.
- Expanding Link Suggestions To ensure we have enough tasks available, we are significantly increasing the number of link suggestions for our pilot wikis: We are scaling up the minimum number of "Add a Link" suggestions generated per wiki tenfold (T383714). If no link suggestions are available for a page, we will store that result and avoid reprocessing the article until it is edited again (T382270).
- Expanding the Pilot to More Wikis: To gather sufficient data for meaningful analysis, we are including additional wikis in the pilot test (T385343). While the alpha test only included Spanish Wikipedia, French Wikipedia, and Egyptian Arabic Wikipedia, the Q3 Pilot Experiment will include additional Wikipedias.
- Expanding to Desktop: The alpha test was limited to mobile users, but for the Q3 release, we will also surface "Add a Link" suggestions on desktop.
This will help us learn more and ensure a broader range of newcomers engage with the feature.
Surfacing Structured Tasks in Read Mode Pilot Experiment
The Growth team launched an A/B test to display "Add a Link" tasks in an article's Read view, but only for newcomers on Pilot Wikis (eswiki, frwiki, arzwiki, ptwikki, fawiki, and idwiki).
Surfacing Structured Tasks "Add a Link" Read Mode Experiment Results
Although the results were mixed, we did not observe a statistically significant difference in constructive activation between the control and treatment groups. This suggests that presenting "Add a Link" suggestions in a low-disruption way to logged-in readers does not meaningfully increase the likelihood that new account holders will complete a first edit. However, this outcome should not be interpreted as evidence that surfacing simple editing tasks is inherently ineffective for improving newcomer activation or retention.
Given the lack of measurable impact, the Growth team will conclude this experiment and will not scale the current implementation to additional wikis. Instead, we will apply the lessons learned to future design and experimentation efforts.
While this intervention did not achieve its intended impact, it offered valuable insights into a relatively new space—proactively suggesting structured tasks to readers—which will inform ongoing work by both the Growth and Editing teams to support newer editors through mobile-friendly, structured editing experiences.
Other learnings from this experiment
- Process Learnings: We can get a feature in front of newcomers quickly when the first release is an alpha test that we plan to roll back. This empowers us to learn faster, and ensures we don’t delay the release until the feature is polished enough for a meaningful A/B test.
- Mobile visibility. While we offered read mode link suggestions, we could not guarantee that mobile editors in the treatment group of this experiment saw the suggestions. Because article sections on mobile are collapsed, to see a suggestion, a mobile web user must expand a section containing a link suggestion and potentially scroll to that suggestion’s general location (have that link suggestion visible in their viewport) if the section was long. Thus, if a newcomer never expanded a section containing a suggestion nor scrolled to the area of the suggestion, where necessary, they didn’t see the suggestion; so logically the intervention did not impact their activation.
- High-traffic articles rarely need newcomer help: “Add a Link” recommendations exist on articles that are underlinked; some of these may be lower view count, shorter, and/or less developed articles. High-traffic articles are often high-quality articles or articles related to controversy or current events (articles that are sometimes protected from newcomer edits).
- Clearer cues: It is important to note that this experiment deliberately prioritized a non-intrusive user experience. Future tests could explore more prominent calls to action or alternative UX patterns. We may see stronger results if future interventions use a clearer or more directive interface, such as Suggestion Mode or a more highly visible call to action.
- Different target audiences: We could iterate on what we’ve learned and test a similar intervention with different target audiences. For instance, Welcome Survey data suggests that many newly registered users create accounts with a specific edit or article creation in mind, making them less likely to respond to suggestions not matching their initial intention.
- Personalization: Our exploratory analysis confirmed that the homepage module continues to provide value to newcomers. We also observed preliminary evidence that read-view suggestions may encourage contribution over time, particularly among accounts that do not visit the homepage. These findings suggest the presence of distinct newcomer archetypes with varying behaviors. It is possible that read-view suggestions are more effective for some segments of users than others.
Enwiki A/B test & "Add a Link" Improvements (Wiki Experiences 1.2.11 & 1.2.16)
The "Add a Link" Structured Task has previously been tested on several pilot wikis, consistently demonstrating increases in newcomer participation (see 2021 and 2024 experiments). However, outcomes can vary by wiki, and English Wikipedia is often an outlier. As we gradually scaled the feature on English Wikipedia, we used this opportunity to run a natural A/B test to evaluate its impact.
The test aimed to determine whether "Add a Link" improves constructive activation on English Wikipedia—specifically, whether it helps more new account holders complete a first edit. The A/B test confirmed our hypothesis: the task led to a relative increase in constructive activation on both mobile and desktop platforms. Because this experiment was designed to support the Wiki Experiences 1.2 key result focused on mobile, our report emphasizes results from the mobile web platform.
The analysis found that, on mobile web, the "Add a Link" task produced strong outcomes:
- 33.7% increase in the constructive activation rate
- 3.7% increase in the constructive retention rate
- 19.6% decrease in the revert rate
Newcomers in the treatment group—those with access to the "Add a Link" feature—showed improvements across all three metrics compared to the control group.
Full Report: Add-a-link Experiment on English Wikipedia
Lessons Learned
- Improved newcomer activation: Significant gains, especially on mobile, confirm the task’s effectiveness.
- Structured tasks like “Add a Link” are especially impactful on mobile.
- Feature improvements and Community Configuration helped increase performance compared to the original pilot tests from 2021.
- Community Configuration supports local control, helping build support for adoption, though it currently lacks gradual rollout capabilities.
- Community engagement: Volunteers provided essential feedback and reviewed edits, shaping improvements to the task and its configuration. We have released two changes based on community feedback:
- Limit “Add a Link” to newer accounts: This change allows communities to restrict the task to newer users, which addresses concerns experienced users have expressed about newcomers using this task to quickly inflate edit counts or general community concerns about moderators being overwhelmed by these edits. (T393688) See the "Stop suggesting "Add a link" tasks based on newcomers' total edits" in your home Wikipedia's related configuration page:
Special:CommunityConfiguration/GrowthSuggestedEdits - Remove problematic link suggestions: This addresses a key complaint on English Wikipedia, and will ensure the link suggestions more closely follow enwiki's Manual of Style. (T386867) At English Wikipedia, continent and country names are no longer suggested. Related discussion thread.
- Limit “Add a Link” to newer accounts: This change allows communities to restrict the task to newer users, which addresses concerns experienced users have expressed about newcomers using this task to quickly inflate edit counts or general community concerns about moderators being overwhelmed by these edits. (T393688) See the "Stop suggesting "Add a link" tasks based on newcomers' total edits" in your home Wikipedia's related configuration page:
Next Steps:
- Share findings with the movement (T390613) and at Wikimania 2025.
- Collaborate with Machine Learning and Research to improve the "Add a Link" model and ensure the models can be retrained regularly (T388258).
Get Started Notification (Wiki Experiences 1.2.17)
User story: As a newcomer, I want to receive a well-timed and engaging notification that guides me toward my first edit, so I can quickly understand what to do next and feel encouraged to contribute. By receiving clear guidance at the right moment, I will be more likely to take my first editing step and continue participating in Wikipedia.
Hypothesis: If new accounts that have not yet edited receive a supportive notification* with a Suggested Edit recommendation within 24 hours of creating an account, then they will be more likely to activate constructively. *An Echo notification and an email if the account has an confirmed email address.
Background & research:
- The “Get Started” notification has already been shown to increase newcomer editing when sent at 48 hours after account creation (1). This suggests that well-timed interventions can positively impact newcomer activation. By sending the notification earlier, we may further improve activation rates by reaching users while their interest is still high.
- Prior studies show that positive reinforcement, such as the "Thanks" feature, leads to increased editor engagement (2). This suggests that notifications framed as encouragement rather than just instructions may yield better results.
