Growth/Personalized first day/Newcomer tasks/Experiment analysis, November 2020/ja

Growth チーム は2019年11月、「新規参加者タスク」機能を新規参加者ホームページに追加しました. この機能は編集の対象としてタスクをお勧めするフィードを発信し、範囲は新規参加者の興味に合わせてあります. その趣旨とは、それぞれのウィキでは到着着後の新規参加者が関心を持てるよう、簡単な編集作業を提供することを目指します. 事前の仮説では、新規参加者にとってこのツールは編集を試してみたくなり、編集技能を習得し自分の編集の影響を理解して、編集をその後も続けるきっかけになると想定しました.

機能の影響度を計測するには、条件付きの実験を実施しています. 新規登録者の 76% に機能を提供、残り 24% は対象外としました. 実験期間は6ヵ月とし、対象としたウィキペディアの言語版はアラビア語、 ベトナム語、チェコ語、朝鮮語です.



わかったことの概要
分析結果の一般的な傾向として、Growth 機能は新規参加者の成果を向上させました. 重要点を以下にまとめます.


 * 新規参加者のうち Growth 機能を提供した場合、より「活性化する」確率が高まります（最初の編集をする）.
 * 予測としては定着率が向上すると見込んでいます（別の日にウィキペディアを開いて記事の編集を実行すること）.
 * 機能により編集量も増加し（編集の回数）、 建設性は失われていません（編集の差し戻し）.

これらの結果から Growth 機能は、特に新規参加者タスクにおいて新規参加者の編集行動を増やし、新規参加者がそのウィキにとどまる期間を確実に伸ばしたと推察します.

'''これらの成果から、ウィキペディアの全言語版でこれら機能の実装を検討するようお勧めします. '''

加えて、これらの結果に基づき Growth チームでは構造化タスクへの取り組みを続け、新規参加者を対象にした新しい種類の簡単な編集ワークフローを作成する根拠となります.

用語集

 * 2020年11月時点で17言語版のウィキがGrowth 機能を導入しました. However, in our experiment, we analyzed four pilot wikis: Arabic, Vietnamese, Czech, and Korean Wikipedias.
 * 新規参加者の全員に Growth 機能を提供したわけではありません. 20% を無作為に抽出、既定の体験をしてもらいました. The group with the features is the treatment group and the group with the default experience is the control group.  Numbers that come from the default experience are called baseline numbers.
 * Activation is defined as a newcomer making their first edit within 24 hours of registration. ベースライン活性化率とは、既定の機能を使い Growth 機能が備わっていない利用者の活性化率のことです.
 * 建設的な活性化とは登録後24時間以内に最初の編集をする新規参加者が、その編集をしてから48時間以内に差し戻されていないことを目安にします. ベースライン建設的率とは、既定の機能を使い Growth 機能が備わっていない利用者を対象にします.
 * Retention is defined as a newcomer coming back on a different day in the following two weeks after activation and making another edit. ベースライン定着率とは、既定の機能を使い Growth 機能が備わっていない利用者を対象にします.
 * Edit volume is the overall count of edits made in a user's first two weeks. ベースライン編集量とは、既定の機能を使い Growth 機能が備わっていない利用者を対象にします.

Detailed findings
Below are the specific impacts we estimated from the controlled experiment. These are all based on observing 97,755 new accounts on the pilot wikis, between November 2019 and May 2020. For more specifics on the methodology, see "Methodology" below.



活性化
この分析に基づき、記事名前空間ならびにトーク名前空間の編集に集中しました.


 * 活性化： Growth 機能を使える新規参加者は初回の編集をする率が11.6% 増です. パイロット試験をした4言語版のウィキでは、ベースライン活性化率は 21.6%でした. Growth 機能によりこれがベースラインよりも 11.6% 増加して 24.1% になると推定されます.
 * 建設的な活性化：建設的な活性化に限定して観察すると、効果はより大きいです. 新規参加者で Growth 機能を使えると初回の編集が差し戻されない率が26.7% 増です. パイロット試験をした4言語版のウィキでは、ベースライン建設的活発化率は 16.1%でした. Growth 機能によりこれがベースラインよりも 26.7% 増加して 20.4% になると推定されます.



定着率
定着は活性化と比べると数がずっと少なく、値の変化を検出しにくくなります. この実験では直接、これといった変化を析出できませんでした. 代わりに定着率の増加は活性化と同率、つまり11.6%の増加をしたと予測します. この発想は私たちの統計モデルに立脚すると、登録初日の活動がその翌日以降の活動に影響します. Growth 機能は登録初日に活発な利用者を増やす傾向が見られ、それが定着率になんの変化ももたらさず 、そこから活性化の増加が定着率の増加に演繹できると考えます. 言い換えるなら、Growth 機能が定着率の増加を導く要因とは 活性化にあると見られます. Growth 機能によって活性化した利用者の中には、当然ながら定着していきます.

実験をした4件のウィキにおける基本線の定着率は 3.2%です. 私たちは Growth 機能がこれを3.6%に伸ばしたと見積もります.





編集量
Growth 機能は新規参加者が登録後の2週間で手がける記事編集の数を 22% 増に導きました. パイロットケースのウィキペディアの4言語版では、ベースライン編集量は1.4回、すなわち平均的な新規参加者は平均1.4回の編集をすると推定されるということです. Growth 機能を使った新規参加者の編集量は平均1.7回になると推定されます.

言い換えると次のようになります.


 * Growth 機能のない新規参加者1,000人は編集を1,400回実施.
 * Growth 機能のある新規参加者1,000人は編集を1,700回実施.

この増分は Growth 機能により新規参加者が記事を編集する可能性を増やし、さらに新規参加者で短期間に多くのおすすめ編集をこなす人たちがいます. 中には登録後2週間で100回超の編集をした人もいました.



その他の指標
その他の指標も検討し、特段の発見はありませんでした.


 * 差し戻し：Growth 機能を使った新規参加者でも編集の差し戻しを受けることはあります. この分析から目立つもしくは明確な結果は得られませんでした.
 * 非常に活発な新規参加者：集計の結果、Growth 機能によりより多くの新規参加者が活発になり編集回数が増えました. では、この機能は新規参加者を非常に活発にさせるかどうか、観察を試みました. 最初の30日間に編集を50回する人を想定しました. この分析は Growth 機能のあるなしで有意な差を見出せませんでした.
 * 感謝：新規参加者で Growth 機能を使わないよりも使う新規参加者のほうがより多くの「感謝」を受けるかどうか分析しました. Growth 機能があるほうが受け取る感謝は多いと予測しましたが、この視点では定着率は両方の群でほぼ同等で、見た目により多いとしてもそれは編集回数が多いからだけだとわかりました. つまりこの機能を使っても、新規参加者が感謝される要素にはならないという意味です.
 * Differences between wikis and platforms: we compared the wikis and platforms (mobile vs desktop). We did not find significant differences in the effect of the Growth features.



主な教訓

 * The features work: the Growth team features work to increase newcomer engagement. This is especially true for the "newcomer tasks" component, which suggests easy edits.
 * Confidence in building structured tasks: this gives us confidence that our current work to build more kinds of newcomer tasks, such as the "add a link" task, will increase impact.
 * 肯定的な励ましが必要: the results showed that the Growth 機能の影響範囲は 基本的に 活動開始 – 新規参加者が初の編集をするように持っていくこと – であって、定着率ではありません. 一見すると、機能は活動を増やし、定着率が上がってもその結果だったと観察されます. 新規参加者が最初の編集をした後、どうすればまた戻ってくるか、昨日に何を加えればよいか、Growth チームの宿題になりました. そこで、今年度は「ポジティブな励まし」に注力する計画です. マイルストーンと統計を組み込み、新規参加者が自分の進歩と影響力に心を動かされるようにします.



次のステップへ

 * もっと広く知ってもらう：機能の価値に自信を深めることができました. そこで Growth チームは、さらに多くのウィキに実験結果を読んでもらい、機能の導入を働きかけていきます.
 * タスクの継続：今年は新しい種類のタスクを増やすことに注力し、新規参加者が編集を完了した時点によりポジティブな強化を盛り込む予定です.
 * 分析結果の援用：この分析を終え、将来、同じ実験をするときにより円滑に実施する準備ができました. 導入するウィキが増えると、この機能の影響力の分析をして、初期の影響に続く向上を把握できます.

方法論
Growth チームは2019年11月21日、新規参加者タスクのモジュールをウィキペディアの言語版とからチェコ語、朝鮮語、ベトナム語、アラビア語のホームページに導入しました. 実験期間中に利用者を無作為に調査群と対照群に振り分けました. 調査群の使用者にはGrowth 機能をすべて支給し (ホームページ、新規参加者タスク、ヘルプパネルなど)、対照群の利用者には何も渡しません.

実験期間は2019年11月21日から同12月12日とし、調査群に入る確率は 50% でした. 次にチームが12月12日に新規参加者タスクにふたつの変数を取り入れた A/B テストを開始すると、80% に増加しました.

利用者は時期を選び Growth 機能を個人設定で有効にも無効にもできました. 無効にした利用者はこの調査から除外しました. また除外対象にはテストアカウント、 API 経由で登録した人 (ほとんどはアプリ自体のアカウント) と、自動登録されたアカウントがありました.

今回の分析には登録アカウント 9万7755 件をデータセットとして使用、期間は実験開始日から2020年5月14日までです. そのうちの 2万3529 件 (24.1%) は対照グループとし、実験対象は 7万4226 件 (75.9%) でした.

分析にはmultilevel (hierarchical) regression モデルを多用し、それぞれのウィキを集合変数に設定しました. これにより分析に現れるウィキ間の差異を表現できました. 一例として activation モデルに multilevel logistic regression モデルを適用、ウィキ間に見るactivation 率の差異を構成します. また編集活動は long tail distribution のパターンを辿るとわかっていることから、編集回数のモデル値には zero-inflated negative binomial distribution モデルを採用しています（ここでも multilevel モデルを適用）.