विकिमीडिया ऐप्स/टीम/एंड्रॉइड/रैबिट होल्स

एंड्रॉइड टीम की 2024/2025 वार्षिक योजना के भाग के रूप में, एंड्रॉइड टीम ब्राउज़िंग और सीखने के अनुभवों के माध्यम से पाठक प्रतिधारण बढ़ाने के विभिन्न तरीकों का पता लगाएगी। यह प्रोजेक्ट पेज एंड्रॉइड टीम के विकिमीडिया फाउंडेशन की 2024-2025 वार्षिक योजना से संबंधित प्रयोग का दस्तावेजीकरण करता है, विशेष रूप से विकी अनुभव 3.1 के मुख्य परिणाम का। This project page documents the Android team’s experimentation related to the Wikimedia Foundation 2024-2025 Annual Plan, specifically the Wiki Experiences 3.1 Key Result.

वर्तमान स्थिति

• 2024-11: परिकल्पना और डिज़ाइन को साझा करना
• अगला: विकी और क्षेत्रों का परीक्षण करने के लिए सामुदायिक परामर्श एवं इन-ऐप फ़ीडबैक

सारांश

यह परियोजना हमारी वेबसाइट पर पाठकों की नई पीढ़ी की उपस्थिति बढ़ाने हेतु केंद्रित है, जिससे नई पीढ़ी को विकिपीडिया के साथ एक स्थायी संबंध बनाने में सहायता मिलेगी, तथा पाठकों के लिए अपनी रुचि की विषय-वस्तु को अधिक आसानी से खोजने और उससे सीखने के अवसर उपलब्ध होंगे।

हम ब्राउज़िंग के अनुभवों की एक श्रृंखला के साथ प्रयोग कर रहे हैं ताकि यह निर्धारित किया जा सके कि हम अंतिम उत्पादन उपयोग के लिए किसे स्केल करना चाहते हैं, तथा किस प्लेटफ़ॉर्म (वेब, ऐप या दोनों) पर। फिर हम इन प्रयोगों को स्केल करने और उत्पादन वातावरण में अवधारण बढ़ाने में उनकी प्रभावकारिता का परीक्षण करने पर ध्यान केंद्रित करेंगे। वर्ष के अंत तक हमारा लक्ष्य प्रतिनिधि विकि पर कम से कम दो अनुभव लॉन्च करना और इन अनुभवों में लगे पाठकों के लिए पाठक प्रतिधारण में 5% की वृद्धि को सटीक रूप से मापना है।

इस के.आर. को प्राप्त करने में अधिकतम रूप से प्रभावी होने के लिए, हमें लॉग-आउट उपयोगकर्ताओं के साथ ए/बी परीक्षण करने की क्षमता की आवश्यकता होगी, साथ ही पाठक प्रतिधारण को मापने में सक्षम उपकरण की भी आवश्यकता होगी।

यह कार्य विकिमीडिया फाउंडेशन की वार्षिक योजना में किस प्रकार फिट बैठता है?

विकी अनुभव 3: उपभोक्ता अनुभव (पठन और मीडिया)

विकिमीडिया फाउंडेशन के इंफ्रास्ट्रक्चर लक्ष्य के अंतर्गत, तथा विकी अनुभवों पर केंद्रित उद्देश्यों के समूह के अंतर्गत, उपभोक्ताओं के अनुभव को बेहतर बनाने से संबंधित एक उद्देश्य है:

Under the Wikimedia Foundation's Infrastructure Goal, and within the group of objectives focused on Wiki Experiences, is an objective related to improving the experience of consumers:

विकी अनुभव 3: उपभोक्ता अनुभव उद्देश्य: उपभोक्ताओं की एक नई पीढ़ी विश्वकोश सामग्री के साथ खोज, संलग्नता और स्थायी संबंध बनाने के लिए अपने पसंदीदा गंतव्य की खोज के लिए विकिपीडिया पर आती है।

विकी अनुभव 3.1 (WE3.1) मुख्य परिणाम: प्रतिनिधित्व करने वाली विकि के लिए दो क्यूरेटेड, सुलभ और समुदाय-संचालित ब्राउज़िंग और सीखने के अनुभव जारी करें, जिसका लक्ष्य अनुभव उपयोगकर्ताओं के लॉग-आउट पाठक प्रतिधारण को 5% तक बढ़ाना है।

विकिमीडिया फाउंडेशन की कई टीमें WE3.1 के मुख्य परिणाम के तहत परियोजनाओं पर काम करने के लिए प्रतिबद्ध हैं: ड्राफ्ट परिकल्पना।

Android team hypothesis	Timeline	Phabricator epic
Wiki Experiences 3.1.6: If we introduce a personalized rabbit hole feature in the Android app and recommend articles based on the types of topics and sections a user is interested in, we will learn if the feature is sticky enough to result in multi-day usage by 10% of users exposed to the experiment over a 30-day period, and a higher pageview rate than users do not engage with the feature.	१ अक्टूबर २०२४ - ३१ दिसम्बर २०२४	phab:T378612

विकिमीडिया फाउंडेशन की टीमें इस साल वार्षिक योजना को अधिक पुनरावृत्त तरीके से आगे बढ़ा रही हैं, इसलिए वर्षा भर चलने वाली बड़ी परियोजनाओं के लिए प्रतिबद्ध होने के बजाय, यह परिकल्पना काफी हद तक सीमित दायरे में है। इससे हमें एक संक्षिप्त प्रयोग से सीखने और पूरे साल छोटे-छोटे चरणों में मूल्य प्रदान करने की अनुमति मिलनी चाहिए, साथ ही यह सुनिश्चित करना चाहिए कि हमारे पास सीखने के साथ-साथ बदलाव करने की लचीलापन हो।

सामुदायिक चर्चा

हमने इस परियोजना के पीछे की व्यापक अवधारणा पर समुदायों के साथ WMF वार्षिक योजना उत्पाद और प्रौद्योगिकी OKRs चर्चा के भाग के रूप में चर्चा की है, लेकिन हम अपने परीक्षण विकी और क्षेत्रों के साथ एक अधिक विस्तृत सामुदायिक परामर्श भी आरंभ करेंगे:

• दक्षिण एशिया और उप सहारा अफ्रीका के पाठक

उत्पाद की आवश्यकताएँ

• *एबीसी परीक्षण के रूप में चलाएँ
  • ए समूह नियंत्रक है
  • बी समूह खोज में लेख दृश्य से एक अनुशंसित खोज की क्वेरी देखता है
  • सी समूह को अपनी अनुशंसित पठन सूची देखने और सहेजने के लिए प्रोत्साहित करने वाला संवाद प्राप्त होता है
• इंटरफ़ेस स्पष्ट होना चाहिए कि सिफारिशें उपयोगकर्ता की रुचि पर आधारित हैं
• उप सहारा अफ्रीका और दक्षिण एशिया तक सीमित
• उपयोगकर्ता ऐप में सिफारिशों की गुणवत्ता के बारे में प्रतिक्रिया देने में सक्षम है
• अनुशांसाएँ श्रेणियों, विषयों या MoreLike से खींची जानी चाहिए। इंस्ट्रूमेंटेशन करते समय, हमारे पास यह जानने का एक तरीका होना चाहिए कि उपयोगकर्ता ने कौन सा चयन किस API से किया था।
• 20 दिनों के बाद प्रयोग को ऐप से हटा दिया जाना चाहिए
  • A group is the control
  • B group sees a recommended search query from article view in the search
  • C group receives dialog encouraging them to see and save their recommended reading list
• Interface should be clear that recommendations are based on user interest
• Constrained to Sub Saharan Africa and South Asia
• User able to provide feedback about the quality of recommendations in-app
• Recommendations should pull from Categories, Topics or MoreLike. When doing instrumentation, there must be a way for us to know which selection a user made was from which API.
• After 20 days the experiment should be removed from the app

डिज़ाइन

• पठन सूची

• Reading list

• 
  घोषणा के संवाद
• 
  अनुशंसित पठन सूची
• 
  सहेजा गया (सूची = असंरक्षित)
• 
  सहेजा गया (सूची = सहेजा गया)
• 
  सहेजा गया - प्रतिक्रिया का संवाद

• रैबिट होल्स

• 
  लेख में सुझाई गई खोजों की क्वैरी
• 
  खोज की स्क्रीन (प्रारंभिक स्थिति)
• 
  खोज की स्क्रीन (सक्रिय खोज)
• 
  प्रतिक्रिया के संवाद

मापन और परिणाम

हमें कैसे पता चलेगा कि हम सफल रहे

टीम हमारी परिकल्पना का मूल्यांकन करने के लिए 20 दिनों तक एक प्रयोग चलाने की योजना बना रही है, साथ ही उपयोगकर्ता संतुष्टि और प्रतिक्रिया को समझने के लिए एक सर्वेक्षण भी चला रही है। हम नीचे दिए गए प्रमुख संकेतकों और सुरक्षा मानकों के साथ प्रयोग समूहों के लिए अपनी परिकल्पना को मान्य करेंगे।

सत्यापन

• प्रयोग में भाग लेने वाले 10% विशिष्ट उपयोगकर्ता 30 दिन की अवधि में एक से अधिक बार प्रयोग में भाग लेते हैं
• प्रयोग में सम्मिलित लोगों से अनुशंसित लेखों पर आंतरिक रेफरल क्लिक 5% अधिक थे, उन लोगों की तुलना में जो फीचर में सम्मिलित नहीं थे
• खोज क्वेरी के आधार पर सुझावों पर 5% अधिक क्लिक बनाम सुझाए गए पठन सूचियों से लेखों पर हुए क्लिक
• खोज क्वेरी पर एंटर दबाने वाले उपयोगकर्ताओं की तुलना में सुझाई गई पठन सूची देखने के लिए हुए 5% अधिक क्लिक
• 65% या उससे अधिक सकारात्मक फीडबैक स्कोर

गार्डरेलिंग

• इन-ऐप उपयोगकर्ताओं से प्राप्त 60% नकारात्मक फीडबैक
• लक्ष्य समूह के 10 सामुदायिक सदस्यों ने नकारात्मक भावनाएं व्यक्त कीं

जिज्ञासाएँ

• क्या हम लॉग इन उपयोगकर्ताओं बनाम लॉग आउट उपयोगकर्ताओं की अवधारण दर में कोई अंतर देखते हैं?
• रैबिट होल के मेट्रिक्स की तुलना अनुशंसित सामग्री से कैसे की जाती है
• क्या हम उन उपयोगकर्ताओं के अधिक पेजव्यू देखते हैं जो इस सुविधा से जुड़ते हैं, बनाम जो नहीं जुड़ते?

डेटा विश्लेषण करने के बाद हम इस पृष्ठ पर प्रयोग के परिणाम साझा करेंगे, तथा समुदाय के साथ साझेदारी में यह निर्धारित करेंगे कि क्या आगे निवेश किया जाना चाहिए तथा विषय-वस्तु के सुझावों को पुनः जारी किया जाना चाहिए, या हमें इसके बजाय किसी अन्य परिकल्पना को आगे बढ़ाना चाहिए।

Results

Here are the full 20-day results from this experiment that ran from December 6 - December 26 in countries limited to South Asia and Sub-Saharan Africa.

Validation

• 10% of unique users that engage with experiment do so more than once in a 30 day period
  • Met: The Reading List group had a 16.8% feature engagement return rate and the Rabbit Holes/Suggested Search group had an 11.5% return rate.
• 5% higher internal referral clicks of recommended articles from people that engage with the experiment compared to those that did not engage with feature
  • Met: The Rabbit Holes/Suggested Search Group had an 18.3% higher internal link click rate and Reading List group had a 7.2% higher internal link click rate.
• 5% higher clicks on Rabbit Hole Search suggestion based on search queries vs. click throughs to articles from reading lists
  • Not met: The Reading Lists group had a 173.8% higher CTR compared to Rabbit Holes/Suggested Search group users.
• 5% higher clicks to view Reading Lists vs users that hit enter on Rabbit Hole/Suggested search queries
  • Met: Reading Lists users overall had a 1248.3% higher engage/entry rate compared to Suggested Search entries from all group users.
• 65% or higher of feedback scores are positive
  • Met: 93.3% of in-app feedback was graded Satisfactory or Neutral.

Guardrails

• 60% of feedback from in-app users are negative
  • Met: 6.7% of in-app feedback was graded as Unsatisfactory
• 10 community members from target group express negative sentiments
  • Met: We did not see any negative sentiment from users in target group/experiment participants.

Curiosities

• Do we see a difference in the retention rate for logged in users vs logged out users
  • Being logged-in made a significant difference in return rate (higher) for the Reading Lists group. For the Search group, the return rate was also higher for logged-in users, but not significantly.
• How does the metrics from Rabbit Hole compare to Recommended Content
  • The return rate for Rabbit Holes/Suggested Search users from prior Recommended Search was lower by 15.8 percentage points.
• Do we see higher pageviews for users that engage with the feature vs those that do not
  • We saw Rabbit Holes/Suggested Search group pageviews 199.9% higher than Control and Reading List was 24.5% higher than Control.

Personalized Reading lists v2

• 
  Announcement to rabbit holes
• 
  Choose how to customize rabbit holes for you
• 
  Select your interests
• 
  Discover confirmation
• 
  Save your discover list
• 
  Discover settings

अपडेट

साप्ताहिक अपडेट, हमारे मुख्य अपडेट पृष्ठ पर देखे जा सकते हैं।