Wikimedia Apps/Team/Android/ラビットホール

This page is a translated version of the page Wikimedia Apps/Team/Android/Rabbit Holes and the translation is 100% complete.

Android チームの2024/2025 年次計画の一環として、当チームでは閲覧者の定着率を上げるためにブラウザ体験と学びの過程でさまざまな方法を試みます。このプロジェクトページは、ウィキメディア財団 2024-2025 年次計画に関連して当 Android チームが担当する実験を記録して、なかでもウィキ体験 3.1 主な成果に注目します。

現在の進捗状況

2024年11月：仮説と設計の共有
次：テストウィキと地域で、コミュニティからの聞き取りとアプリ内フィードバックを得る

要約

当プロジェクトの重点は、新世代の読者が私たちのウェブサイトに定着率を高めるため、新世代の人たちがウィキペディアと永続するつながりを築けるように、それら読者が興味を持ったコンテンツをもっと簡単に発見できるようにすること、そこから学ぶ機会を模索することにあります。

私たちはブラウジング体験について一連の実験を行い、本番環境に採用するにはどの体験を拡張するか、またどのプラットフォームで拡張するか判断を目指しています（Web、アプリ、またはその両方）。その後、本番環境で定着率の向上に有効かどうか、テストに焦点を当てこれらの実験を拡張していく予定です。年次内の目標は、代表的なウィキで少なくとも体験2件を開始し、これら体験に参加した読者の定着率を正確に測定して 5% 増を得ることにあります。

この KR を最適な効果で達成するには、非ログイン利用者を対象に A/B テストを実行する機能と、読者定着率を測定できる計装が欠かせません。

この企画はウィキメディア財団の年次計画にどのように整合するか？

ウィキ経験3：消費者経験（閲読とメディア）

ウィキメディア財団が立てたインフラの目標と、ウィキ体験に重点を置いた一連の目標群では、消費者の体験向上に関する目標値を以下のように設けてあります。

ウィキ体験3：消費者体験の目的：新しい世代の消費者はウィキペディアを訪れる目的として、百科事典のコンテンツを発見したり関わったり、永続的なつながりを構築する好ましい場を期待しています。

ウィキ体験 3.1（WE3.1）主な成果：経験を積んだ利用者の非ログイン読者保持率を5%向上させようと目指して、ブラウジングと学習のアクセス可能な体験を厳選し、コミュニティ主導の代表的なウィキ2ヵ所に展開します。

ウィキメディア財団の複数のチームは「WE3.1 主な成果」のもと、それぞれの企画に取り組みました：仮設の草稿を参照。

Android チームの仮説	日程表	Phabricator エピック
ウィキ体験 3.1.6： Android アプリに個別化したラビットホール機能を導入し（rabbit hole）、利用者が興味のあるトピックや見出しの種類に応じて記事をおすすめする場合、この機能が十分に定着したと判断する条件は、たまたま実験を見せられた利用者の 10% が30日間のうち複数の日にこの機能を使用し、なおかつこの機能を利用しなかった利用者よりもページ閲覧率が高くなるかどうかとします。	2024年10月1日 - 2024年12月31日	phab:T378612

ウィキメディア財団の複数チームでは今年、年次計画により反復的に取り組んでおり、この仮説の範囲は大規模なプロジェクトに年間を通じて取り組む代わりに、かなり狭くしてあります。これにより、年間を通じて短い実験から学ぶことも、少しずつ価値を提供しながら、学びに応じた方向転換ができる柔軟性をも確保できます。

コミュニティの協議

当チームは財団のWMF 年次計画製品& 技術チーム OKR類の協議の一環として、このプロジェクトの背後のさらに広い概念について、コミュニティと議論しており、ただしテストウィキと次の地域と詳細なコミュニティ協議を始めます。

南アジア、サハラ以南アフリカの読者

製品の要件

ABC テストとして実行
- A グループはコントロール
- B グループには記事の表示から検索しようとするとおすすめの検索クエリを表示
- C グループにはダイアログを表示し、個別のおすすめ閲覧リストを表示して、それを保存するように促す
インターフェイスでは、おすすめが利用者自身の興味に基づいたと必ず明確に示す
対象はサハラ以南アフリカと南アジアに限定
利用者はアプリ内でおすすめの品質に対してフィードバックを提供できる
おすすめの取得は必ずカテゴリ、トピックまたは MoreLike に基づく。計装に当たって、利用者が API 経由でどんな選択したか、担当チームで把握できる方法が必須。
実施後20日経過すると、実験は必ずアプリから削除する

設計

閲覧リスト

告知の段階
おすすめの記事一覧
保存済み（一覧＝保存しない）
保存済み（一覧＝保存）
保存済み — フィードバックの段階

ラビットホール（Rabbit holes）

記事内で使う検索クエリ案
検索画面（初期の状態）
検索画面（実際の検索）
フィードバックの段階

計測と成果

実験の成功を何で判断するか

当チームは仮説の評価に向けて一方で20日間の実験を行い、他方で満足度とフィードバックを把握するため利用者アンケートを実施する予定です。実験グループに関する仮説は、以下の主要な指標とガードレールを採用して検証します。

検証

実験に参加した個別利用者の10%は、30日間に複数回、実験した
おすすめ記事一覧に載ったものをクリックする率は、機能に関与していない人と比較すると実験に従事する人々は 5% 高い
閲覧おすすめ一覧から記事を選ぶ場合と比べて検索結果から選ぶ率は 5% 高い
おすすめ記事一覧を閲覧した率は検索窓でエンターを押した率と比べて5%多い点
65%以上のフィードバック獲得が可能

ガードレール

アプリ利用者の60%は否定的な反応
評価対象（ターゲット）コミュニティの10名の感想は否定的

関心度

ログインするかしないかで利用者の定着率に違いはあるかどうか
ラビットホールとおすすめコンテンツの各指標を比較対照
利用者のページ閲覧率は、機能に関与するかしないかで差がありましたか？

実験の結果は、データ分析が済ませてこのページで共有し、コミュニティの協力を得て、コンテンツ提案にさらに投資して再リリースするべきか、それとも代わりに別の仮説を検討するべきか決める予定です。

成果

以下は今回、12月6日 - 同26日の20日間に南アジアとサハラ以南アフリカに限定して実施した実験の成果です。

検証

実験に参加したユニーク利用者の 10% は、30日間に2回以上、再訪
- 合致：機能を再度、利用したあとの再訪率はラビットホール／おすすめ検索グループは 11.5% 、閲覧リスト群は同 16.8%
実験参加者でおすすめ記事内から出典を開く率は機能を使わない群よりも 5% 高い
- 合致：ラビットホール／おすすめ検索群は記事内リンクを開く率が 18.3% 高く、閲覧リスト群は同 7.2% 高い。
クリックスルーは、閲覧リスト経由が検索クエリ経由と比べてラビットホール／おすすめ検索群をクリックする率は 5% 高め
- はずれ：閲覧リスト群はラビットホール／おすすめ検索群よりも CTR が 173.8% 高い
ラビットホール／おすすめ検索クエリで Enter キーを押した利用者と比較すると、閲覧リストを表示するクリックは5%高い
- 合致：閲覧リスト利用者は、すべての全グループの利用者中、おすすめ検索のエントリと比較して、参加／エントリ率は全体に1248.3%高い
65%以上のフィードバックスコアは肯定的
- 合致：アプリ内フィードバックの93.3%が満足または中立と評価

ガードレール

アプリ利用者の60%は否定的な反応
- 合致：アプリ内フィードバックの 6.7% は不満足と評価
評価対象コミュニティの10名の感想は否定的（ターゲット）
- 合致：ターゲット群／実験の参加者は否定的な感想を寄せていない。

好奇心

ログインするかしないかで利用者の定着率に違いはあるかどうか
- 閲覧リスト群（Reading Lists group）の場合、ログインした人の再訪率は顕著に異なった（増加）。検索群（Search group）では非ログイン利用者も再訪率は増加したものの、それほど顕著ではない。
ラビットホールは、おすすめコンテンツ、それぞれで得た指標を対照する件（Recommended Content）
- 再訪率をラビットホール、おすすめ検索で対照すると前回のおすすめ検索よりも 15.8 パーセントポイント低下（ Recommended Search）
利用者のページ閲覧率は、機能に関与するかしないかで差が出たかどうか
- 対象群と比べるとラビットホール／おすすめ検索群のページ閲覧は 199.9% 高く、閲覧リストは同じく24.5% 高いと出た。