Growth/Personalized first day/Newcomer tasks/実験の分析、2020年11月
 | このページの要旨: 分析結果によると、Growth機能「新規参加者タスク」は次の各点を促進しました。
|
|
Newcomer tasks experiment analysis
Results from controlled experiment testing efficacy of Growth features.
|
Growth チーム は2019年11月、「新規参加者タスク」機能を新規参加者ホームページに追加しました。 この機能は編集の対象としてタスクをお勧めするフィードを発信し、範囲は新規参加者の興味に合わせてあります。 その趣旨とは、それぞれのウィキでは到着着後の新規参加者が関心を持てるよう、簡単な編集作業を提供することを目指します。 事前の仮説では、新規参加者にとってこのツールは編集を試してみたくなり、編集技能を習得し自分の編集の影響を理解して、編集をその後も続けるきっかけになると想定しました。
機能の影響度を計測するには、条件付きの実験を実施しています。新規登録者の 76% に機能を提供、残り 24% は対象外としました。実験期間は6ヵ月とし、対象としたウィキペディアの言語版はアラビア語、 ベトナム語、チェコ語、朝鮮語です。
わかったことの概要
分析結果の一般的な傾向として、Growth 機能は新規参加者の成果を向上させました。重要点を以下にまとめます。
- 新規参加者のうち Growth 機能を提供した場合、より「活性化する」確率が高まります（最初の編集をする）。
- 予測としては定着率が向上すると見込んでいます（別の日にウィキペディアを開いて記事の編集を実行すること）。
- 機能により編集量も増加し（編集の回数）、 建設性は失われていません（編集の差し戻し）。
これらの結果から Growth 機能は、特に新規参加者タスクにおいて新規参加者の編集行動を増やし、新規参加者がそのウィキにとどまる期間を確実に伸ばしたと推察します。
これらの成果から、ウィキペディアの全言語版でこれら機能の実装を検討するようお勧めします。
加えて、これらの結果に基づき Growth チームでは構造化タスクへの取り組みを続け、新規参加者を対象にした新しい種類の簡単な編集ワークフローを作成する根拠となります。
用語集
- 2020年11月時点で17言語版のウィキがGrowth 機能を導入しました。 しかしながら分析対象ウィキは次の4言語版のウィキペディアとしました。アラビア語、ベトナム語、チェコ語、朝鮮語。
- 新規参加者の全員に Growth 機能を提供したわけではありません。20% を無作為に抽出、既定の体験をしてもらいました。 機能を使えるようにしたグループをtreatment group、規定の設定のままの体験をするグループをcontrol group に区分します。後者から得る数値をベースライン値 baseline と呼びます。
- 活性化は新規参加者が登録後24時間以内に行う最初の編集として定義されます。 ベースライン活性化率とは、既定の機能を使い Growth 機能が備わっていない利用者の活性化率のことです。
- 建設的な活性化とは、新規参加者が登録後24時間以内に最初の編集を行い、その編集が48時間以内に差し戻されないこととして定義されます。 ベースライン建設的活性化率とは、既定の機能を使い Growth 機能が備わっていない利用者の活性化率です。
- 定着は活性化した後の2週間で別の日に戻ってきて他の編集を行うこととして定義されます。 ベースライン定着率とは、既定の機能を使い Growth 機能が備わっていない利用者の定着率です。
- 編集量は利用者が最初の2週間で行う編集の総数です。 ベースライン編集量とは、既定の機能を使い Growth 機能が備わっていない利用者の編集量です。
詳細な所見
対象群を調節した実験の結果として、以下の波及効果を特定しました。時期は2019年11月から2020年5月で、いずれも先行ウィキ群の新規参加者 9万7755 人の観察に基づきます。方法の詳細は以下の見出し「方法論」をご参照ください。
活性化
この分析に基づき、記事名前空間ならびにトーク名前空間の編集に集中しました。
- 活性化： Growth 機能を使える新規参加者は初回の編集をする率が11.6% 増です。パイロット試験をした4言語版のウィキでは、ベースライン活性化率は 21.6%でした。Growth 機能によりこれがベースラインよりも 11.6% 増加して 24.1% になると推定されます。
- 建設的な活性化：建設的な活性化に限定して観察すると、効果はより大きいです。新規参加者で Growth 機能を使えると初回の編集が差し戻されない率が26.7% 増です。パイロット試験をした4言語版のウィキでは、ベースライン建設的活発化率は 16.1%でした。Growth 機能によりこれがベースラインよりも 26.7% 増加して 20.4% になると推定されます。
定着
定着は活性化と比べると数がずっと少なく、値の変化を検出しにくくなります。この実験では直接、これといった変化を析出できませんでした。代わりに定着率の増加は活性化と同率、つまり11.6%の増加をしたと予測します。この発想は私たちの統計モデルに立脚すると、登録初日の活動がその翌日以降の活動に影響します。Growth 機能は登録初日に活発な利用者を増やす傾向が見られ、それが定着率になんの変化ももたらさず 、そこから活性化の増加が定着率の増加に演繹できると考えます。言い換えるなら、Growth 機能が定着率の増加を導く要因とは 活性化にあると見られます。Growth 機能によって活性化した利用者の中には、当然ながら定着していきます。
実験をした4件のウィキにおけるベースライン定着率は 3.2%です。私たちは Growth 機能がこれを3.6%に伸ばしたと見積もります。
編集量
Growth 機能は新規参加者が登録後の2週間で手がける記事編集の数を 22% 増に導きました。パイロットケースのウィキペディアの4言語版では、ベースライン編集量は1.4回、すなわち平均的な新規参加者は平均1.4回の編集をすると推定されるということです。 Growth 機能を使った新規参加者の編集量は平均1.7回になると推定されます。
言い換えると次のようになります。
- Growth 機能のない新規参加者1,000人は編集を1,400回実施。
- Growth 機能のある新規参加者1,000人は編集を1,700回実施。
この増分は Growth 機能により新規参加者が記事を編集する可能性を増やし、さらに新規参加者で短期間に多くのおすすめ編集をこなす人たちがいます。中には登録後2週間で100回超の編集をした人もいました。
その他の指標
その他の指標も検討し、特段の発見はありませんでした。
- 差し戻し：Growth 機能を使った新規参加者でも編集の差し戻しを受けることはあります。この分析から目立つもしくは明確な結果は得られませんでした。
- 非常に活発な新規参加者：集計の結果、Growth 機能によりより多くの新規参加者が活発になり編集回数が増えました。では、この機能は新規参加者を非常に活発にさせるかどうか、観察を試みました。最初の30日間に編集を50回する人を想定しました。この分析は Growth 機能のあるなしで有意な差を見出せませんでした。
- 感謝：新規参加者で Growth 機能を使わないよりも使う新規参加者のほうがより多くの「感謝」を受けるかどうか分析しました。Growth 機能があるほうが受け取る感謝は多いと予測しましたが、定着率の分析と同様の結果で、受け取る感謝がより多いとしても、編集回数が多いからそうなっているだけだとわかりました。つまりこの機能を使っても、新規参加者が感謝される要素にはならないという意味です。
- 各ウィキ、各プラットフォームごとの差異：ウィキとプラットフォームを対照しました（モバイル版 vs デスクトップ版も対比）。当 Growth 機能に関して、特段の際は見つかりませんでした。
結論と次の段階
主な教訓
- 機能は役に立つ：当 Growth チームの機能は新規参加者の定着に役立っています。特に「新規参加者向けのタスク」という構成要素、簡単な編集作業をおすすめするものについて、そう述べることができます。
- 構造化タスク作成に自信が持てる：現状の当チームは新規参加者向けタスクの種類をもっと増やそうと作業しており、その波及効果は、例えば「リンクを追加」などによって増大するのだと自信がわきます。
- 肯定的な励ましが必要: the results showed that the Growth 機能の影響範囲は 基本的に 活動開始 – 新規参加者が初の編集をするように持っていくこと – であって、定着率ではありません。一見すると、機能は活動を増やし、定着率が上がってもその結果だったと観察されます。新規参加者が最初の編集をした後、どうすればまた戻ってくるか、昨日に何を加えればよいか、Growth チームの宿題になりました。そこで、今年度は「ポジティブな励まし」に注力する計画です。マイルストーンと統計を組み込み、新規参加者が自分の進歩と影響力に心を動かされるようにします。
次のステップへ
- もっと広く知ってもらう：機能の価値に自信を深めることができました。そこで Growth チームは、さらに多くのウィキに実験結果を読んでもらい、機能の導入を働きかけていきます。
- タスクの継続：今年は新しい種類のタスクを増やすことに注力し、新規参加者が編集を完了した時点によりポジティブな強化を盛り込む予定です。
- 分析結果の援用：この分析を終え、将来、同じ実験をするときにより円滑に実施する準備ができました。導入するウィキが増えると、この機能の影響力の分析をして、初期の影響に続く向上を把握できます。
方法論
Growth チームは2019年11月21日、新規参加者タスクのモジュールをウィキペディアの言語版とからチェコ語、朝鮮語、ベトナム語、アラビア語のホームページに導入しました。実験期間中に利用者を無作為に調査群と対照群に振り分けました。調査群の使用者にはGrowth 機能をすべて支給し (ホームページ、新規参加者タスク、ヘルプパネルなど)、対照群の利用者には何も渡しません。
実験期間は2019年11月21日から同12月12日とし、調査群に入る確率は 50% でした。次にチームが12月12日に新規参加者タスクにふたつの変数を取り入れた A/B テストを開始すると、80% に増加しました。
利用者は時期を選び Growth 機能を個人設定で有効にも無効にもできました。無効にした利用者はこの調査から除外しました。また除外対象にはテストアカウント、 API 経由で登録した人 (ほとんどはアプリ自体のアカウント) と、自動登録されたアカウントがありました。
今回の分析には登録アカウント 9万7755 件をデータセットとして使用、期間は実験開始日から2020年5月14日までです。そのうちの 2万3529 件 (24.1%) は対照グループとし、実験対象は 7万4226 件 (75.9%) でした。
分析にはマルチレベル（階層）回帰モデルを多用し、それぞれのウィキをグループ化変数として使いました。これにより分析に現れるウィキ間の差異を考慮できました。例えば、活性化モデルはマルチレベルロジスティック回帰モデルで、つまりウィキ固有の活性化率の差異を考慮しているということです。また編集活動はロングテール分布に従うこともわかっているので、編集回数のモデル値には ゼロ過剰 ポアソン回帰（負の二項分布） モデルを採用しています（ここでもマルチレベルモデルを使用）。