Applications Wikimédia/Équipe/Android/Rabit Holes

This page is a translated version of the page Wikimedia Apps/Team/Android/Rabbit Holes and the translation is 52% complete.

Outdated translations are marked like this.

Dans le cadre du plan annuel 2024/2025 de l'équipe Android, cette dernière explorera divers moyens d'augmenter la rétention des lecteur.rice.s à travers des expériences de navigation et d'apprentissage. Cette page de projet documente l'expérimentation de l'équipe Android liée au Plan annuel de la Fondation Wikimedia 2024-2025, en particulier le Wiki Expériences 3.1 Résultat clé. This project page documents the Android team’s experimentation related to the Wikimedia Foundation 2024-2025 Annual Plan, specifically the Wiki Experiences 3.1 Key Result.

Statut actuel

2024-11 : partage des hypothèses et des conceptions
Prochaine étape : consultation de la communauté et retour d'information sur l'application pour tester les wikis et les régions

Résumé

Ce projet vise à augmenter la rétention d'une nouvelle génération de lecteur.rice.s sur notre site web, à permettre à une nouvelle génération de construire un lien durable avec Wikipédia, en explorant les possibilités pour les lecteur.rice.s de découvrir et d'apprendre plus facilement le contenu qui les intéresse).

Nous réalisons actuellement une série d'expériences de navigation afin de déterminer celles que nous souhaiterions mettre à l'échelle pour une utilisation en production, et sur quelle plateforme (web, applications, ou les deux). Nous nous concentrerons ensuite sur la mise à l'échelle de ces expériences et testerons leur efficacité pour augmenter la rétention dans les environnements de production. Notre objectif d'ici la fin de l'année est de lancer au moins deux expériences sur des wikis représentatifs et de mesurer avec précision une augmentation de 5 % de la rétention des lecteur.rice.s engagé.e.s dans ces expériences.

Pour atteindre ce résultat clé, nous devrons être en mesure d'effectuer des tests A/B avec des utilisateur.rice.s déconnecté.e.s, ainsi que des instruments capables de mesurer la rétention des lecteur.rice.s.

Comment ce travail s’inscrit-il dans le plan annuel de la Fondation Wikimedia ?

Wiki Expériences 3 : Expérience consommateur (Lecture et médias)

Dans le cadre de l'objectif d'infrastructure de la Fondation Wikimedia, et au sein du groupe d'objectifs axés sur les expériences Wiki, se trouve un objectif lié à l'amélioration de l'expérience des consommateur.rice.s :

Wiki Expériences 3 : Objectif d'expérience consommateur : Une nouvelle génération de consommateur.rice.s arrive sur Wikipédia pour découvrir une destination privilégiée pour la découverte, l'engagement et la construction d'un lien pérenne avec le contenu encyclopédique.

Wiki Expériences 3.1 (WE3.1) Résultat clé : Mettre à disposition des wikis représentatifs deux expériences de navigation et d'apprentissage conçues, accessibles et axées sur la communauté, dans le but d'augmenter de 5 % le taux de rétention des lecteur.rice.s déconnecté.e.s des utilisateur.rice.s d'expériences.

Plusieurs équipes de la Fondation Wikimedia se sont engagées à travailler sur des projets dans le cadre du résultat clé WE3.1 : Projet d'hypothèses.

Hypothèse de l'équipe Android	Chronologie	Phabricator epic
Expériences Wiki 3.1.6 : Si nous introduisons une fonctionnalité de trou de lapin personnalisée dans l'application Android et recommandons des articles basés sur les types de sujets et de sections qui intéressent un.e utilisateur.rice, nous apprendrons si la fonctionnalité est suffisamment accrocheuse pour entraîner une utilisation de plusieurs jours par 10% des utilisateur.rice.s exposé.e.s à l'expérience sur une période de 30 jours, et un taux de pages vues plus élevé que les utilisateur.rice.s qui ne s'engagent pas avec la fonctionnalité.	1^er octobre 2024 - 31 décembre 2024	phab:T378612

Les équipes de la Fondation Wikimedia abordent la planification annuelle de manière plus itérative cette année, donc plutôt que de s'engager dans des projets plus importants sur toute l'année, cette hypothèse a un champ d'application assez restreint. Cela devrait nous permettre de tirer les leçons d'une brève expérience et d'apporter de la valeur par petites touches tout au long de l'année, tout en nous assurant la flexibilité nécessaire pour pivoter au fur et à mesure de nos apprentissages.

Discussion communautaire

Nous avons discuté du concept général de ce projet avec les communautés dans le cadre de la WMF plan annuel Produit & Technologie Discussion sur les OKRs, mais nous allons également initier une consultation plus détaillée des communautés avec nos wikis de test et nos régions :

Les lecteurs d'Asie du Sud et d'Afrique subsaharienne

Exigences relatives au produit

*Exécution d'un test ABC
- Le groupe A est le groupe de contrôle.
- Le groupe B voit une requête de recherche recommandée à partir de l'affichage d'un article dans la recherche.
- Le groupe C reçoit une boîte de dialogue l'encourageant à consulter et à enregistrer sa liste de lectures recommandées.
L'interface doit indiquer clairement que les recommandations sont basées sur l'intérêt de l'utilisateur.
Limité à l'Afrique subsaharienne et à l'Asie du Sud
L'utilisateur.rice peut donner son avis sur la qualité des recommandations dans l'application.
Les recommandations doivent provenir de Catégories, de Sujets ou de MoreLike. Lors de l'instrumentation, il doit y avoir un moyen pour nous de savoir quelle sélection un.e utilisateur.rice a fait à partir de quelle API.
Après 20 jours, l'expérience devrait être supprimée de l'application.
- A group is the control
- B group sees a recommended search query from article view in the search
- C group receives dialog encouraging them to see and save their recommended reading list
Interface should be clear that recommendations are based on user interest
Constrained to Sub Saharan Africa and South Asia
User able to provide feedback about the quality of recommendations in-app
Recommendations should pull from Categories, Topics or MoreLike. When doing instrumentation, there must be a way for us to know which selection a user made was from which API.
After 20 days the experiment should be removed from the app

Conception

Liste de lecture

Dialogue d'annonce
Liste de lecture recommandée
Enregistré(liste=non enregistré)
Enregistré(liste=enregistré)
Enregistré - dialogue de retour d'information

Trous de lapin

Requête de recherche suggérée dans l'article
Écran de recherche (état initial)
Écran de recherche (recherche active)
Dialogue de retour d'information

Mesures et résultats

Comment saurons-nous que nous avons réussi

L'équipe prévoit de mener une expérience pendant 20 jours pour évaluer notre hypothèse, ainsi que de réaliser une enquête pour comprendre la satisfaction et le retour d'information des utilisateur.rice.s. Nous validerons notre hypothèse pour les groupes expérimentaux à l'aide des indicateurs clés et des garde-fous ci-dessous.

Validation

10% des utilisateur.rice.s uniques qui participent à une expérience le font plus d'une fois au cours d'une période de 30 jours.
5 % de clics de référence internes en plus pour les articles recommandés par les personnes qui ont participé à l'expérience par rapport à celles qui n'ont pas participé à l'expérience.
5% de clics en plus sur les suggestions basées sur des requêtes de recherche par rapport aux clics sur les articles des listes de lecture suggérées.
5 % de clics en plus pour afficher la liste des lectures suggérées par rapport aux utilisateur.rice.s qui appuient sur la touche « Entrée » lors d'une recherche.
65% ou plus des retours d'information sont positifs

Garde-fous

60 % des retours d'expérience des utilisateur.rice.s de l'application sont négatifs
10 membres de la communauté du groupe cible expriment des sentiments négatifs

Curiosités

Voyons-nous une différence dans le taux de rétention des utilisateur.rice.s connecté.e.s par rapport aux utilisateur.rice.s déconnecté.e.s ?
Comment les métriques de « Rabbit hole » se comparent-elles à celles de « Recommended Content » (contenu recommandé) ?
Les pages consultées sont-elles plus nombreuses chez les utilisateur.rice.s qui utilisent la fonctionnalité que chez ceux et celles qui ne l'utilisent pas ?

Après avoir analysé les données, nous partagerons les résultats de l'expérience sur cette page et, en partenariat avec la communauté, nous déterminerons s'il y a lieu de poursuivre l'investissement et la diffusion des suggestions de contenu ou si nous devons plutôt développer une autre hypothèse.

Results

Here are the full 20-day results from this experiment that ran from December 6 - December 26 in countries limited to South Asia and Sub-Saharan Africa.

Validation

10% of unique users that engage with experiment do so more than once in a 30 day period
- Met: The Reading List group had a 16.8% feature engagement return rate and the Rabbit Holes/Suggested Search group had an 11.5% return rate.
5% higher internal referral clicks of recommended articles from people that engage with the experiment compared to those that did not engage with feature
- Met: The Rabbit Holes/Suggested Search Group had an 18.3% higher internal link click rate and Reading List group had a 7.2% higher internal link click rate.
5% higher clicks on Rabbit Hole Search suggestion based on search queries vs. click throughs to articles from reading lists
- Not met: The Reading Lists group had a 173.8% higher CTR compared to Rabbit Holes/Suggested Search group users.
5% higher clicks to view Reading Lists vs users that hit enter on Rabbit Hole/Suggested search queries
- Met: Reading Lists users overall had a 1248.3% higher engage/entry rate compared to Suggested Search entries from all group users.
65% or higher of feedback scores are positive
- Met: 93.3% of in-app feedback was graded Satisfactory or Neutral.

Guardrails

60% of feedback from in-app users are negative
- Met: 6.7% of in-app feedback was graded as Unsatisfactory
10 community members from target group express negative sentiments
- Met: We did not see any negative sentiment from users in target group/experiment participants.

Curiosities

Do we see a difference in the retention rate for logged in users vs logged out users
- Being logged-in made a significant difference in return rate (higher) for the Reading Lists group. For the Search group, the return rate was also higher for logged-in users, but not significantly.
How does the metrics from Rabbit Hole compare to Recommended Content
- The return rate for Rabbit Holes/Suggested Search users from prior Recommended Search was lower by 15.8 percentage points.
Do we see higher pageviews for users that engage with the feature vs those that do not
- We saw Rabbit Holes/Suggested Search group pageviews 199.9% higher than Control and Reading List was 24.5% higher than Control.