Growth/Analytics updates/Help Panel experiment plan/ja

ヘルプパネルの目標はユーザーがページの編集作業を離れずに、もっと楽にヘルプを求める方法を提供することです. その効果としてタスクを完了できる上、コミュニティのヘルプデスクに投稿して答えを得る過程で、ウィキペディアのコミュニティとの出会いのチャンスが訪れます. ユーザーのタスク完了に手を貸すと、活発な編集者 (新人ユーザーに占める編集作業をする人の割合) の増加に結びつき、さらには編集者の定着 (新人ユーザーで2回目以降の編集作業をしにウィキペディアを再訪した人の割合) を促進する可能性があり、後者は Growth チームの包括的なゴールでもあります.

ヘルプパネルが編集者の活動ならびに定着率に与える影響を理解するには、6カ月をかけた A/B 試験の実施を提案します. 試験中に対象ウィキ群の新規登録者の 50% は既定でヘルプパネルが利用できるようにして、残り 50% には利用できなくします. 対象のウィキ群では新人歓迎アンケートの複数案比較など、同時に複数の実験を行う場合を想定しています. それらの実験で層化抽出法を採用する場合は、標本の抽出法の調整に留意します.

このチームがヘルプパネルを使って明らかにしたい質問の詳細は、 プロジェクトページのこちらの節を参照してください. 実際に記録するデータの詳細はこちらの EventLogging スキーマで説明しています.

バリエーション
試験期間の6カ月には、ヘルプを求めるワークフローにおいて個別のインターフェース要素が行動にどのようなよい影響を与えるか理解するため、ヘルプパネルのいくつかのバリエーションを試験したいと考えています. インターフェース次第で (編集者の) 活発さや定着率が左右されるという仮説にこだわりすぎると特定のインターフェースばかり試験してしまい、長い目で見た活発さと定着率の試験を誤った結果に導きかねない点には気をつけます.

試験は1件ずつ進めるため、まず最初に試験するバリエーションを選ぶ必要があります. また、大規模な試験の開始からおよそ1カ月は試験を見送り、内包する小規模なテストにまったく問題が起きないかどうか確認します. そうすると新人編集者の活動の活発さの割合が実際にヘルプパネルそのものの効果であったと明確に把握できます.

先行指標と対策案
中規模のウィキ群で新人編集者の定着率の変遷を把握するA/B 試験には、最低でもこの長さが必要なことから、6カ月を費やします (もしも定着率が劇的に影響を受けるなら前提が異なりますが、可能性は低いと見なしています . ) 結果を待つ間に、何か不都合があると感知した場合には対処できるように、準備しておくつもりです. 上記の実行戦略でご説明したデータに基づいてシナリオを想定し、以下に概略を示します. シナリオにはそれぞれの状態に用いる対策案を提案してあります.

導入1カ月後の先行指標の状態
The Help Panel was deployed to Czech and Korean Wikipedias on January 11, 2019. One month later we gathered data for all registrations for both wikis up until that point so that we can evaluate our leading indicators and determine whether any of the feature's behavior was concerning. In short, while the evaluation exposes some areas for improvement, we think the help panel's behavior so far is healthy and that it is not having a negative impact on the wikis.

Known test accounts were removed, as were users who turned the Help Panel on or off in their preferences because self-selection into or out of the treatment group violates the equal expectation resulting from random assignment to groups. However, as we will see below, very few users changed their preferences.

上記の閾値のうち、4件は懸念材料であり、その考察を以下の一覧にまとめてあります.


 * ヘルプパネルを開かなかった場合：どちらの言語版でもある程度の件数を認めたものの、閾値と比べてそれほど目立った差異はありません. これは問題解決として健全な数値であり、改善の余地があると感じます. その状況ですでにヘルプパネルをもっと多くの場所に表示し始め、ユーザーがそれを開く機会を増やしました. 現状で読み取りモードで表示される場所とは、ヘルプ、ウィキペディアおよびユーザーの名前空間です. この作業は経過をT215664で追跡、2019年3月6日に完了.


 * ヘルプリンクを押さない場合：分析の結果、チェコ語版ではリンク3件の流量が低かったため、特筆性に関する補足情報のリンクを除去して、画像を追加する方法と交換しました. 後者はチェコ語版ヘルプデスクに投稿された質問のうち最多で、また朝鮮語版のヘルプリンクで最も閲覧されたからです. さらにガイドへのリンクボタンは「Quick tutorial」に改名、理由は朝鮮語版ウィキペディアで利用数第2位だからです. この作業はT217391で追跡、2019年3月6日に完了.


 * 質問を投稿しない場合：そもそも事前の予測として (ヘルプリンクをクリックしないで) ヘルプパネルを開いたユーザーが質問をする率は 75% という数字は野心的すぎたようです. チェコ語版の質問投稿率の実績は妥当と評価され、また朝鮮語版で質問投稿率が低い背景として、公開の質問をするという行動そのものが合わないとわかりました. そこでヘルプパネルに「検索」ボタンを追加、ユーザーの答え探しに好ましい別の方法を提供しようとしました. この作業はT209301で追跡し、2019年2月25日に完了.


 * Starting the question path and not completing it: the absolute numbers for this metric are still low enough that it is hard to say with confidence whether we are notably higher than the threshold. At the time of this analysis, only about 25 people had attempted asking a question.  We will therefore revisit this indicator at a later stage.