Growth/Analytics updates/EditorJourney initial report/ja

ウィキメディア財団のプロジェクト群 EditorJourney 初回レポート 初日を理解するプロジェクト"Understanding first day" のデータに基づき初回レポートを発表します。 グループ: Growth 開始: 2018-10-01 終了: 2019-01-15 リーダー: Morten Warncke-Wang (データ解析)

Growthチームによる「初日を理解する」プロジェクトの一環として、ウィキペディアのチェコ語と朝鮮語の各言語版にEditorJourney EventLogging スキーマを2018年11月15日20:00 (UTC) 前後に実装しました。これは新規登録から24時間にわたり、利用者の閲覧履歴を記録して、新規加入者の利用実態をもっと把握しようとするものです（記事閲覧にまつわるプライバシーに特段の配慮をしました）。導入に先立ち、調査概要をオンラインで公開してあります。

この作業の動機として新規利用者はほとんど全員、編集をしないままという事実があります。そこで「皆、アカウント登録をしたら何をしている ？ どうしたら編集を始める手助けができる？」という疑問が湧きました。今回の取り組みは、これらの疑問にもっと具体的に答えたくて始めました。

• チェコ語と朝鮮語の新規アカウント登録者は最初の24時間に、どんなもっとも一般的なワークフロー を通過するのか？
• その新規登録者のうち何パーセントがそれぞれのワークフローを通過するのか？
• どのワークフローが 編集へ進むきっかけとなりやすいのか、それともなりにくいのか？

注目している課題は、編集をしようとした利用者が作業を中断するタイミング、ヘルプ情報を探すか、ウィキペディアの方針を読むか、コミュニティとのやりとりができるページを開くかどうか、特に関心があります。このページでは初期の成果を報告し、前述の課題に関する詳しい分析は research outlineにおいてフォローアップする見通しです。この報告では下記の課題3件を取り上げます。

1. 新規参加者がアカウントを作成したきっかけはどの文脈か？ 記事の閲覧中もしくは編集中か、それとも別の場面か？ この場所から登録利用者として最初の活動が始まります。
2. 新規利用者はどんな操作の第一歩を踏み出すのか、また操作単位で見たとき、それぞれを実行した百分率は把握できるか？ 言い換えると、アカウント登録の次に初めて行うのはどんなことか？
3. 登録後24時間以内に、前述のいずれかの行動を実行した利用者を100部で把握できるか？
   • メインページを閲覧
   • 記事を閲覧
   • エディタを開く
   • 編集を保存しようとする
   • 編集の保存が成功
   • ヘルプまたはプロジェクト、方針のページを閲覧
   • 記事のトークページを閲読
   • 利用者本人の利用者トークページを閲覧
   • 他の利用者ページや利用者トークページを閲覧

The data in this report is based on views for users registered on the Czech and Korean Wikipedias between November 19 and end of day (UTC) on December 17, 2018, excluding users who already have an account on a different wiki, so called "autocreated users". Several events/views that are part of the registration process, such as the Growth Team's welcome survey, have been removed. We provide an overview of what users have been doing, and are not making claims about statistical significance nor differences between user groups or Wikipedias. Instead, we present these as preliminary findings and discuss some potential next steps these findings might suggest, and will be doing a more thorough analysis in the upcoming quarter.

Toplines

このデータから新規利用者像を実質的に明確に把握できます。その多くはアウトリーチに気づき、ヘルプのコンテンツを探し、大多数はエディタを開きます。熱心に取り組み、うまく使おうとする人の割合が非常に大きいことは朗報で、それがはっきりしたから、新規利用者がいる場所へ私たちから出向けばよいし、新規利用者が役立つものを探すときは、それが見つかるように用意しておくチャンスができました。

• 携帯端末 vs. デスクトップ: 総体的に利用者は閲覧の流れからアカウントを登録する（つまりアカウント登録者としての道のりに踏み出す）傾向があり、編集の流れからアカウントを作った人はたった 17% です。そこは携帯端末では異なり、アカウント登録後の利用者の 36.5% が編集の流れに進みます。この差は、携帯端末ではログインせずに編集しようとすると、ページいっぱいに登録のおすすめメッセージが重なるためではないかと推測します。
• ようこそメッセージ: 朝鮮語版利用者の17.9% はアカウント登録 直後に 自分の利用者トークページを開いています。朝鮮語版ウィキペディアでは新規の利用者トークページに自動処理でようこそメッセージを投稿しており、このことからそのメッセージは高い確率で読まれていると示唆されます。チェコ語版ウィキペディアではそのようなメッセージは送っておらず、対応する数字は1.0％であり、ようこそメッセージが朝鮮語版新規利用者のかなりの割合を引き付けている点が示されています。将来的にはこれらの新規利用者が、投稿されたリンクのどれかを開いたかどうか分析を目指します。
• ヘルプページ：
  • 朝鮮語版では初日にヘルプページまたは方針のページを閲覧する利用者は有意な数です。チェコ語版の41.5%に対して朝鮮語版では27.8%。これによりヘルプを探している利用者がどれくらい多いか感覚を得たり、また将来的には、とりわけ閲覧されているヘルプページをしぼりこみ、その改善を意識しながら、ヘルプの閲覧が編集の成功に結びつくかどうか検討する予定です。
  • 8.3% of Czech users visit a help page immediately after creating their account.
• Looking for a starting place: large numbers of users view their own User or User Talk page on their first day: 33.8% in Czech and 39.3% in Korean. This is much higher than expected, especially in Czech Wikipedia, where there is no automated welcome message attracting users to those pages. We hypothesize that new users are looking for some sort of "homepage", "dashboard", or "profile page" where they can orient themselves and begin their work. This finding may guide the Growth team to attach new features to the "User" page – a natural starting place for a newcomer to a website.
• Editing challenges: a majority of new users open an editor on their first day – but about a quarter of them do not go on to save an edit during that time. This quantifies an important target group for interventions like the Help Panel, which gives users help while the editor is open.

Account creation context

When users create their accounts, they go through a signup process, and then are returned back to the page they were on before. If they were editing, they end up back in the editing experience. This is where their journey as a registered user begins.

Generally, users come from, and return to, a reading context after account creation – although starting from editing is much more common on mobile. The results below are largely similar to what we found in a quick analysis of account creation context back in October 2018.

Table 1: Reading or editing context

	Czech Wikipedia		Korean Wikipedia
	N	Prop.	N	Prop.
Reading	1034	82.5%	1226	81.5%
Editing	220	17.5%	278	18.5%
Total	1254	100.0%	1504	100.0%

The overall proportions are remarkably similar across the two wikis. When we split this up by whether the account was registered on the desktop site or the mobile site, the proportions shift drastically:

Table 2: Context by mobile or desktop site registration

	Czech Wikipedia				Korean Wikipedia
	Desktop		Mobile		Desktop		Mobile
	N	Prop.	N	Prop.	N	Prop.	N	Prop.
Reading	839	90.1%	195	60.4%	998	90.6%	228	56.6%
Editing	92	9.9%	128	39.6%	103	9.4%	175	43.4%
Total	931	100.0%	323	100.0%	1101	100.0%	403	100.0%

As mentioned above, a much higher proportion of accounts from mobile are registered from the editing context, and this is consistent with our previous analysis. Though there may be many reasons for this, we believe one may be that mobile users who attempt to save an edit without being logged in are presented with a full page overlay encouraging them to create an account. Similar warnings exist on desktop, but are less obtrusive and easier to ignore.

The current analysis may be affected by the welcome survey, which makes it possible for users to navigate elsewhere in the wiki instead of returning to the context they were in before account creation. In this initial investigation we have not dug deeply into how often this happens.

Account creation context namespaces

While the previous section looks at whether a user created their account from the reading or editing context, this context exists in many different namespaces. What namespace do users create their account from (and therefore return to) after account creation, and is this different depending on whether they are viewing or editing a page?

Tables 3 and 4 show that account creation primarily happens from either an article or the Main page. There are also a fair amount of accounts created from the Wikipedia namespace (where policy pages exist), as well as Special (where search results are shown). When accounts are created from an editing context, they are dominated by the article namespace.

Table 3: Namespace of account creation context, Czech Wikipedia Viewing a page Editing a page Namespace N Prop. N. Prop 0 (Article) 407 39.4% 199 90.5% 0 (Main page) 309 29.9% 1 (Talk) 3 0.3% 5 2.3% 2 (User) 32 3.1% 9 4.1% 3 (User talk) 12 1.2% 1 0.5% 4 (ウィキペディア) 83 8.0% 2 0.9% 5 (ウィキメディアのトークページ) 2 0.9% 8 (MediaWiki) 10 (テンプレート) 1 0.5% 12 (ヘルプ) 27 2.6% 14 (カテゴリ) 2 0.2% 1 0.5% 100 (ポータル) -1 (特別) 159 15.4%

表 4: アカウント登録後の名前空間、朝鮮5番ウィキペディア Viewing a page Editing a page Namespace N Prop. N Prop. 0 (Article) 521 42.5% 258 92.8% 4 (Main page) 374 30.5% 1 0.4% 1 (Talk) 1 0.1% 2 (User) 21 1.7% 11 4.0% 3 (User talk) 38 3.1% 3 1.1% 4 (Wikipedia) 97 7.9% 2 0.7% 5 (Wikipedia talk) 8 (MediaWiki) 1 0.1% 10 (テンプレート) 1 0.1% 2 0.7% 12 (ヘルプ) 14 (カテゴリ) 3 0.2% 100 (ポータル) 7 0.6% 1 0.4% -1 (特別) 162 13.2%

• Although the "Main page" is not its own namespace, it represents so many views that we have separated it out for this analysis.
• It might seem impossible to have editing the Main page on Korean Wikipedia as the account creation context, because the page cannot be edited without an account. However, the URL reflects the requested editing context, whereas the actual content shows the source (wikitext) of the Main page to the user without enabling them to edit it. Therefore, if one creates an account from that context, one will be returned to editing because the process is based on the URL.

アカウント登録直後の操作

新規利用者がそれぞれの道のりを歩み出す文脈が整った ところで、注目点は次に進む先、つまり最初の操作です。今回の迅速調査ではデータ収集に EditorJourney スキマしか使わないため、現状では「通知を読む」「編集を保存しようとする」などの操作は他のスキマの取得データを用いるため把握できません。この分析では複数の重要な操作を見つけ、新規利用者の行動に光を当てることができました。

• ウィキペディアのチェコ語版の場合、アカウント登録後に新規利用者の8.3% がヘルプ名前空間を開いたのが最初の操作でした。朝鮮語版よりも割合が高いものの、朝鮮語版ではウィキペディア名前空間にヘルプページが併合してあるため、有意な差は言明しにくいです。
• In Korean Wikipedia, 17.9% of new users visit a User Talk page, and these are largely visiting their own user talk page. This is likely driven by the fact that Korean Wikipedia posts a welcome message to their User Talk page of all new users. Czech Wikipedia does not have an equivalent welcome message, and accordingly, the equivalent number in Czech Wikipedia is 1.0%. This tells us that the notification banner telling new users that they have a message on their talk page immediately attracts the attention of a fair number of them. In the future, we will be able to tell whether they interact with the links in the welcome message.

新規利用者は登録初日に何をしているか？

The EditorJourney data allows us to easily look at how many new users do which activities at some point on their first day. The table below gives an overview of how many and what share of users perform certain actions within 24 hours of creating their accounts. The total group is 1,329 registrations on Czech Wikipedia and 1,663 registrations on Korean Wikipedia.

表 9: 最初の24時間で実行した操作

	チェコ語版ウィキペディア		朝鮮語版ウィキペディア
Action	N	Prop.	N	Prop.
メインページを閲覧	609	45.8%	746	44.9%
記事を閲覧	1,019	76.7%	1,267	76.2%
エディタを開く	853	64.2%	929	55.9%
編集を保存しようとする	620	46.7%	666	40.0%
編集の保存が成功	599	45.1%	665	40.0%
ヘルプまたはプロジェクト、方針のページを閲覧	552	41.5%	463	27.8%
記事のトークページを閲読	34	2.6%	75	4.5%
利用者本人の利用者トークページを閲覧	449	33.8%	654	39.3%
他の利用者ページや利用者トークページを閲覧	110	8.3%	186	11.2%

It comes as no surprise that a large proportion of users visit the Main page, nor that reading articles is a large draw. We're also not surprised to see that a lower share of Korean newcomers open an editor than Czech because the welcome survey showed us that a higher share of Czech users created their accounts to edit, whereas more Korean users created their accounts to read.

When it comes to editing, it is worth noting firstly that a majority of newcomers open up an editor at some point on their first day, and that a minority end up saving an edit. Therefore, the proportion of users who open the editor is much larger than the proportion of users who save an edit, suggesting there might be an opportunity to help these newcomers complete their edits. Of the Czech and Korean newcomers who open an editor, about 27% of Czechs and 29% of Koreans don't save an edit. This is the group that the Growth Team is hoping to help with the Help Panel interface, which enables users who seek help while editing to get that through the community's help desk. This result further motivates that effort.

新規参加者の多くは初日にヘルプページおよび／またはプロジェクトページを閲覧しており、これはコミュニティが提供する情報がいかに重要か示唆しています。いちばんよく閲覧されるページの割り出し、また編集を成功に導いたのはどのページか、正確なデータが取得できる予定です。これらにより、重点的に改善が求められるページをコミュニティの皆さんにお知らせして作業をお願いできるようになります。

終わりになりましたが、自分専用の利用者ぺーじまたは利用者トークページを開く人の多さに注目しており、ようこそメッセージのボット投稿で誘導していないチェコ語版でも同じ現象が見られます。仮説としては、新規参加者がデスクトップ画面で自分の利用者名をクリックする動機とは、自分のプロフィールページや使い方案内など、ウィキ作業をどこから始めるか知りたいからだと考えました。これは大きなヒントで、新規参加者がどのページを開くか何を探しているか理解でき、おそらく、新しい機能やコンテンツをどこに置くと見てもらえるかにも通じるはずです。