Croissance/Expérimentation de l'activation constructive
|
Expérimentation de l'activation constructive
 Expérimentation visant à augmenter le pourcentage de nouveaux titulaires de comptes qui contribuent de manière constructive
|
Dans le cadre du Plan annuel 2024/2025 de l'équipe Croissance, l'équipe explorera différentes manières d'« accroître l'activation constructive sur mobile ».
Cette page de projet documente l'expérimentation de l'équipe Croissance liée au Plan annuel 2024-2025 de la Fondation Wikimedia, en particulier le résultat clé Wiki Experiences 1.2.
État actuel
- juin 2024 – planification et partage de l'hypothèse initiale
- septembre 2024 – tests utilisateurs de prototypes de concept
- novembre 2024 – commencer une consultation communautaire avec nos wikis pilotes
- novembre 2024 – release "Add a Link" A/B test at English Wikipedia
- décembre 2024 – conduct a temporary "Surfacing Structured Tasks" test at pilot wikis
- février 2025 – release "Surfacing Structured Tasks" A/B test at pilot wikis
- juin 2025 – end "Surfacing Structured Tasks" A/B test at pilot wikis
- juillet 2025 – experiment analysis published: Add-a-link Experiment on Enwiki and Surfacing Add-a-link in Read Mode
Résumé
Les expériences actuelles d’édition de pages entières nécessitent trop de contexte, de patience, d’essais et d’erreurs pour que de nombreux novices puissent contribuer de manière constructive. To support a new generation of volunteers, we will increase the number and availability of smaller, structured, and more task-specific editing workflows (e.g. Vérification des modifications and Structured Tasks). The Growth team will primarily focus on Structured Tasks, while working closely with the Equipe Rédaction to ensure our work integrates well with Edit Check.
Ce projet vise à résoudre le problème suivant des utilisateurs :
Commencer à contribuer sur Wikipédia est difficile et particulièrement frustrant sur les appareils mobiles. Je veux que l'interface d'édition fournisse la politique et les conseils techniques dont j'ai besoin, pour que mes efforts initiaux ne soient pas révoqués.
Ce projet vise à obtenir les résultats suivants :
En tant que novice bénévole de Wikipédia, je me sens en confiance et enthousiaste à l'idée de contribuer au mouvement Wikimedia en éditant des articles de Wikipédia. Les outils fournis me guident pas à pas, limitent les distractions et me permettent d'apprendre progressivement pour pouvoir contribuer avec succès sur mon appareil mobile.
Contexte
Comment ce travail s’inscrit-il dans le plan annuel de la Fondation Wikimedia ?
Wiki Experiences 1 : Objectif expérience du contributeur
Dans le cadre de l'Objectif d'infrastructure de la Fondation Wikimedia, et au sein du groupe d'objectifs axés sur les expériences Wiki, se trouve un objectif lié à l'amélioration de l'expérience des contributeurs :
- Wiki Experiences 1 : Objectif expérience du contributeur - Les contributeurs expérimentés et les novices se rassemblent en ligne pour créer une encyclopédie digne de confiance, avec plus de facilité et moins de frustration.
Résultat clé des Wiki Experiences 1.2
Dans le cadre de l'objectif Expérience du contributeur, un résultat clé est axé sur l'augmentation de l'activation constructive des novices sur mobile :
- Résultat clé des Wiki Experiences 1.2 (WE1.2) - Le déploiement généralisé des interventions a montré qu'il y avait une augmentation relative de 10% par rapport à l'année précédente du pourcentage de novices qui publiaient ≥1 contribution constructive dans l'espace de noms principal sur un appareil mobile, mesurée par des expériences contrôlées.
Plusieurs équipes de la Fondation Wikimedia se sont engagées à travailler sur des projets dans le cadre du résultat clé WE1.2 : Projet d'hypothèses.
Growth Team Hypotheses
| Hypothèse de l'équipe Croissance | Calendrier | Tâche principale Phabricator |
|---|---|---|
| Wiki Experiences 1.2.3 :
Si nous effectuons des tests utilisateurs sur deux prototypes de conception ou plus introduisant des tâches structurées aux novices dans/proximément à l'éditeur visuel, nous pouvons rapidement apprendre quels designs fonctionneront le mieux pour les nouveaux éditeurs, tout en permettant aux ingénieurs d'évaluer la faisabilité technique et d'estimer l'effort pour chaque approche. |
juillet 2024 - septembre 2024 | T362584 |
| Wiki Experienced 1.2.6 :
If we release a way for people to act on “Add a link” suggestions from an article in Wikipedia to Beta, we will set the stage for an experiment in early Q3, where we aim to increase the percentage of new account holders who constructively activate on mobile by 10% compared to the baseline. |
octobre 2024 - décembre 2024 | T368187 |
| Wiki Experiences 1.2.9:
If we surface the ‘Add a Link’ Structured Task to new account holders who are reading Wikipedia articles through an A/B test on pilot wikis, then we expect to increase the percentage of these people who constructively activate on mobile by 10% compared to the control group. |
janvier 2025 - mars 2025 | T385343 |
| Wiki Experiences 1.2.11:
If we release the “Add a Link” Structured Task to at least 5% percent of newcomers on English Wikipedia, then newcomers with access to this structured task will demonstrate a constructive activation rate on mobile that is 10% percent higher than the baseline, as measured through an A/B test. |
janvier 2025 - mars 2025 | T382603 |
| Wiki Experiences 1.2.16:
If we complete at least two “Add a Link” improvements that communities are asking for, then we can increase the percentage of newcomers at English Wikipedia to whom the task is available, which will increase constructive activation on our largest wiki. |
avril 2025 - juin 2025 | T389288 |
| Wiki Experiences 1.2.17:
If we send accounts with 0 edits a supportive notification with a Suggested Edit recommendation within 24 hours of account creation, then we will increase constructive activation. *An Echo notification and an email if the account has an associated email address. |
mai 2025 - juillet 2025 | T392256 |
Comment définissons-nous « l’activation constructive » ?
Pour le WE1.2, nous nous concentrons sur les nouveaux titulaires de compte sur mobile, donc « l'activation constructive » est définie comme un novice effectuant au moins une modification d'un article dans l'espace de noms principal d'un projet Wikipédia sur un appareil mobile dans les 24 heures suivant son inscription sur un appareil mobile et cette modification n'étant pas annulée dans les 48 heures suivant sa publication. Cette activation sera mesurée sur une base par plateforme (nous mesurons séparément l'activation du web mobile et de l'application mobile).
Quelles recherches et données renseignent sur ces expériences ?
Ce travail est guidé par les observations suivantes et les données et recherches associées : La majorité des nouveaux titulaires de compte sur Wikipédia n'effectuent même jamais une première modification.
Les flux de travail structurés et spécifiques aux tâches incitent davantage de novices à publier une modification constructive.
- Recherche sur les tâches structurées – َAjouter un lien & Ajouter une image
- Recherche sur les pages de discussion – Outil de réponse & Outil nouveau sujet de discussion
- Analyse de l'expérience des tâches des novices
Les novices ont du mal à remarquer, à comprendre et à appliquer les règles qui façonnent Wikipédia.
- Rapport de l'impact de Vérification des modifications (Références)
- Résultats de la recherche des expériences sur les novices
De moins en moins des novices s'enregistrent sur Wikipédia.
- Statistiques de Wikimédia : novices enregistrés
- Enquếter sur le déclin du nombre des novices T351759
La majorité des vues des pages Wikipédia sont depuis le mobile.
Discussion communautaire
Nous avons discuté du concept plus large derrière ce projet avec les communautés dans le cadre de la discussion sur les OKR produits et technologies du plan annuel WMF, nous avons recueilli les commentaires des participants à Wikimania, et nous lancerons très prochainement une consultation communautaire plus détaillée avec nos wikis pilotes (Wikipédias en arabe égyptien, en français et en espagnol). (T372957)
Architecture
Nous avons exploré trois approches différentes pour faire apparaître des tâches structurées et avons considéré quels moments au cours du parcours d'édition étaient les plus appropriés pour présenter une suggestion de contribution. Nous avons décidé de tester et de passer à l'avant avec deux approches pendant l'expérience de lecture (captures d'écran 1 et 2), et une autre pendant le processus d'édition, à l'intérieur de l'éditeur visuel (3).
-
(1) -
(2) -
(3)
Nous avons mené des tests d'utilisateurs non modérés avec des participants familiers avec Wikipédia, mais avec une expérience limitée en matière d'édition et de contribution sur Wikipédia. Les principaux objectifs étaient de :
- comprendre lequel des trois modèles était le plus prometteur pour l'utilisation,
- confirmer si pendant l'utilisation on est plus ou moins susceptible d'envisager de contribuer à l'avenir en sachant que ce type d'aide est disponible, et
- identifier quelles sont les options de la copie finale qui résonnent le mieux auprès des personnes participantes.
Informations sur les tests utilisateurs
Dans l'ensemble, l'idée de proposer une suggestion de modification à côté ou dans l'éditeur visuel a été bien accueillie. Toutess les personnes participantes (6/6) ont indiqué qu'ils envisageraient probablement de procéder à une modification sachant que ce type d'aide est disponible et qu'elles se sentiraient motivées pour effectuer une modification. En ce qui concerne les différentes approches, « la première approche était la plus prometteuse pour la plupart des personnes participantes » (4/6). In terms of the different approaches, approach one was the most promising for most participants (4/6).
« La première expérience est meilleure, elle fournit une aide en ligne pour l'édition. »
Cependant, beaucoup de questions se posaient sur la signification exacte de la balise jaune. Les personnes participantes ont supposé des significations différentes, par exemple que la balise représentait un lien cassé, un bot ou un texte récemment modifié.
Pour la deuxième approche, les personnes participantes ont apprécié les balises d'estimation de difficulté + temps.
« Si cela ne prend que 2 à 3 minutes, ce n'est pas grave. On dit que c'est facile, alors j'ai plus de chances de le faire. »
La troisième approche n'a pas rencontré un franc succès, mais les personnes participantes ont exprimé de très bons retours.
« Je ne l’ai pas trouvé [le modal] déroutant ou intrusif. Je pense qu’il était plutôt encourageant »
« Je me sentirais enclin [à éditer], surtout si c'était une situation où j'oubliais que j'étais en train d'éditer ou si je n'avais pas encore fini d'éditer. C'est donc certainement un bon rappel. »
« Je serais plus enclin à cliquer sur « Aider à ajouter un lien » car je pense que cela le ferait presque pour moi, et j’ai l’impression d’avoir accompli quelque chose. »
En termes de copie, nous avons présenté 4 options et demandé aux personnes participantes de mentionner la version du texte qui leur semblait la plus attrayante. Voici les deux options les plus réussies, décrites comme captivantes, concises et engageantes :
« Ce texte doit-il être un lien ? Cet article suggère une proposition d'amélioration simple : l'ajout d'un lien. Voulez-vous le vérifier ? »
« Améliorez les connexions entre les articles de Wikipédia en créant un lien entre cet article et d'autres. »
Étapes suivantes
En planifiant à l'avance, ces tests nous ont aidés à comprendre et à reconnaître les améliorations possibles. Certains d'entre eux sont :
- Iteration sur copie
- Repenser à la balise jaune pour l'approche une
- Envisager d’ajouter des balises d’estimation de difficulté et de temps à toutes les approches
Second iteration design
Based on insights from user testing, we’ve made targeted updates to the initial design. While this version is not final, it’s intended to be a functional prototype that enables us to evaluate the feature’s impact on constructive activation and newcomer retention.
If early results are promising, we plan to invest in additional improvements, including a lightweight opt-out option and exploring streamlined workflows that don’t require launching the full Visual Editor experience.
Mesures et résultats
Temporary Alpha Test
In December 2024, the Growth team conducted a temporary alpha test to quickly gather data and assess how many new account holders would encounter "Add a Link" tasks in the Read view. The test revealed that the current volume of "Add a Link" tasks was too low to support a statistically significant experiment or drive a meaningful increase in newcomer activation. Based on these findings, we prioritized the following improvements before launching the Pilot Experiment:
- Improving the "Add a Link" Task Flow: To enhance the user experience and address patroller concerns, we’re updating the task flow so that when a user initiates the task from the Read view, only the specific link they tapped on will be surfaced (T381450). Patrollers have noted that when some links in an edit are incorrect, fixing them requires more effort than a simple revert. This change also aims to reduce that frustration.
- Expanding Link Suggestions To ensure we have enough tasks available, we are significantly increasing the number of link suggestions for our pilot wikis: We are scaling up the minimum number of "Add a Link" suggestions generated per wiki tenfold (T383714). If no link suggestions are available for a page, we will store that result and avoid reprocessing the article until it is edited again (T382270).
- Expanding the Pilot to More Wikis: To gather sufficient data for meaningful analysis, we are including additional wikis in the pilot test (T385343). While the alpha test only included Spanish Wikipedia, French Wikipedia, and Egyptian Arabic Wikipedia, the Q3 Pilot Experiment will include additional Wikipedias.
- Expanding to Desktop: The alpha test was limited to mobile users, but for the Q3 release, we will also surface "Add a Link" suggestions on desktop. This will help us learn more and ensure a broader range of newcomers engage with the feature.
Surfacing Structured Tasks in Read Mode Pilot Experiment
The Growth team launched an A/B test to display "Add a Link" tasks in an article's Read view, but only for newcomers on Pilot Wikis (eswiki, frwiki, arzwiki, ptwikki, fawiki, and idwiki).
Surfacing Structured Tasks "Add a Link" Read Mode Experiment Results
Although the results were mixed, we did not observe a statistically significant difference in constructive activation between the control and treatment groups. This suggests that presenting "Add a Link" suggestions in a low-disruption way to logged-in readers does not meaningfully increase the likelihood that new account holders will complete a first edit. However, this outcome should not be interpreted as evidence that surfacing simple editing tasks is inherently ineffective for improving newcomer activation or retention.
Given the lack of measurable impact, the Growth team will conclude this experiment and will not scale the current implementation to additional wikis. Instead, we will apply the lessons learned to future design and experimentation efforts. While this intervention did not achieve its intended impact, it offered valuable insights into a relatively new space—proactively suggesting structured tasks to readers—which will inform ongoing work by both the Growth and Editing teams to support newer editors through mobile-friendly, structured editing experiences.
Other learnings from this experiment
- Process Learnings: We can get a feature in front of newcomers quickly when the first release is an alpha test that we plan to roll back. This empowers us to learn faster, and ensures we don’t delay the release until the feature is polished enough for a meaningful A/B test.
- Mobile visibility. While we offered read mode link suggestions, we could not guarantee that mobile editors in the treatment group of this experiment saw the suggestions. Because article sections on mobile are collapsed, to see a suggestion, a mobile web user must expand a section containing a link suggestion and potentially scroll to that suggestion’s general location (have that link suggestion visible in their viewport) if the section was long. Thus, if a newcomer never expanded a section containing a suggestion nor scrolled to the area of the suggestion, where necessary, they didn’t see the suggestion; so logically the intervention did not impact their activation.
- High-traffic articles rarely need newcomer help: “Add a Link” recommendations exist on articles that are underlinked; some of these may be lower view count, shorter, and/or less developed articles. High-traffic articles are often high-quality articles or articles related to controversy or current events (articles that are sometimes protected from newcomer edits).
- Clearer cues: It is important to note that this experiment deliberately prioritized a non-intrusive user experience. Future tests could explore more prominent calls to action or alternative UX patterns. We may see stronger results if future interventions use a clearer or more directive interface, such as Suggestion Mode or a more highly visible call to action.
- Different target audiences: We could iterate on what we’ve learned and test a similar intervention with different target audiences. For instance, Welcome Survey data suggests that many newly registered users create accounts with a specific edit or article creation in mind, making them less likely to respond to suggestions not matching their initial intention.
- Personalization: Our exploratory analysis confirmed that the homepage module continues to provide value to newcomers. We also observed preliminary evidence that read-view suggestions may encourage contribution over time, particularly among accounts that do not visit the homepage. These findings suggest the presence of distinct newcomer archetypes with varying behaviors. It is possible that read-view suggestions are more effective for some segments of users than others.
Enwiki A/B test & "Add a Link" Improvements (Wiki Experiences 1.2.11 & 1.2.16)
The "Add a Link" Structured Task has previously been tested on several pilot wikis, consistently demonstrating increases in newcomer participation (see 2021 and 2024 experiments). However, outcomes can vary by wiki, and English Wikipedia is often an outlier. As we gradually scaled the feature on English Wikipedia, we used this opportunity to run a natural A/B test to evaluate its impact.
The test aimed to determine whether "Add a Link" improves constructive activation on English Wikipedia—specifically, whether it helps more new account holders complete a first edit. The A/B test confirmed our hypothesis: the task led to a relative increase in constructive activation on both mobile and desktop platforms. Because this experiment was designed to support the Wiki Experiences 1.2 key result focused on mobile, our report emphasizes results from the mobile web platform.
The analysis found that, on mobile web, the "Add a Link" task produced strong outcomes:
- 33.7% increase in the constructive activation rate
- 3.7% increase in the constructive retention rate
- 19.6% decrease in the revert rate
Newcomers in the treatment group—those with access to the "Add a Link" feature—showed improvements across all three metrics compared to the control group.
Full Report: Add-a-link Experiment on English Wikipedia
Lessons Learned
- Improved newcomer activation: Significant gains, especially on mobile, confirm the task’s effectiveness.
- Structured tasks like “Add a Link” are especially impactful on mobile.
- Feature improvements and Community Configuration helped increase performance compared to the original pilot tests from 2021.
- Community Configuration supports local control, helping build support for adoption, though it currently lacks gradual rollout capabilities.
- Community engagement: Volunteers provided essential feedback and reviewed edits, shaping improvements to the task and its configuration. We have released two changes based on community feedback:
- Limit “Add a Link” to newer accounts: This change allows communities to restrict the task to newer users, which addresses concerns experienced users have expressed about newcomers using this task to quickly inflate edit counts or general community concerns about moderators being overwhelmed by these edits. (T393688) See the "Stop suggesting "Add a link" tasks based on newcomers' total edits" in your home Wikipedia's related configuration page:
Special:CommunityConfiguration/GrowthSuggestedEdits - Remove problematic link suggestions: This addresses a key complaint on English Wikipedia, and will ensure the link suggestions more closely follow enwiki's Manual of Style. (T386867) At English Wikipedia, continent and country names are no longer suggested. Related discussion thread.
- Limit “Add a Link” to newer accounts: This change allows communities to restrict the task to newer users, which addresses concerns experienced users have expressed about newcomers using this task to quickly inflate edit counts or general community concerns about moderators being overwhelmed by these edits. (T393688) See the "Stop suggesting "Add a link" tasks based on newcomers' total edits" in your home Wikipedia's related configuration page:
Next Steps:
- Share findings with the movement (T390613) and at Wikimania 2025.
- Collaborate with Machine Learning and Research to improve the "Add a Link" model and ensure the models can be retrained regularly (T388258).
Get Started Notification (Wiki Experiences 1.2.17)
User story: As a newcomer, I want to receive a well-timed and engaging notification that guides me toward my first edit, so I can quickly understand what to do next and feel encouraged to contribute. By receiving clear guidance at the right moment, I will be more likely to take my first editing step and continue participating in Wikipedia.
Hypothesis: If new accounts that have not yet edited receive a supportive notification* with a Suggested Edit recommendation within 24 hours of creating an account, then they will be more likely to activate constructively. *An Echo notification and an email if the account has an confirmed email address.
Background & research:
- The “Get Started” notification has already been shown to increase newcomer editing when sent at 48 hours after account creation (1). This suggests that well-timed interventions can positively impact newcomer activation. By sending the notification earlier, we may further improve activation rates by reaching users while their interest is still high.
- Prior studies show that positive reinforcement, such as the "Thanks" feature, leads to increased editor engagement (2). This suggests that notifications framed as encouragement rather than just instructions may yield better results.
