Edit Review Improvements/ja

編集の査読改善 (ERI=Edit Review Improvements) とは共同開発チームによるプロジェクトで、現状の編集の査読段階がウィキの初学者に与えるかもしれない否定的な影響を軽減する方法を模索するものです. 編集の査読ならびに巡回のツールはほとんど、コンテンツの品質を保ち悪意のある人から守るという非常に重要な任務を果たすために設計されています. しかしながらある調査によると査読の段階で、特に自動化ツールや半自動化ツールを使用すると、誠実な編集の初学者を妨害するばかりか追い出してしまい、意図しない結果をもたらす可能性を示唆しています.

この問題の解決策を求める共同開発チームは、現状の編集と査読のワークフローから善意の初学者を隔てて、究極には精力的な貢献者に育つように励まして支える査読のプロセスを提供できないかと方法を探っています.

問題点

 * 調査によりウィキ編集の初学者は編集者として、とりわけ「編集の差し戻しを受けると編集量が減り、活動をやめてしまいがち」と示されています.
 * また同時に、自動化・半自動化査読ツールの導入が増えるに連れて、善意の初学者を排除する率が高まりました. これらのツールを使うと「初学者を拒絶することで、その望ましい定着率に与える負の影響が著しい」とされます.
 * 上記とは別に、編集の査読ツールは、破壊行為と戦う人ほか、ウィキの完全性と品質維持のために努力する人々には不可欠です. 初学者を助けて定着率を上げ、同時に破壊行為と戦うなど査読者の働きを助けるにはどうすればよいのでしょうか？

目標
このプロジェクトの最終的な目的とは編集者の定着率向上に影響を与えることであり、それは利用者コミュニティとの緊密な協議のもとに開発されたWikimedia Foundation Annual Plan/2016-2017/revised/ja（ウィキメディア財団2016-17年年次計画）の全体的な目標ともよく合っています.
 * 編集と査読によって、善意の初学者の心をくじくのではなく、より建設的な経験ができるようにします.
 * 最近の変更に関する豊富なデータを提供することで、さまざまなタイプの巡回者や編集者がより効率的に作業し、さまざまな関心を（例：破壊行為との戦い、初学者の支援） より効果的かつ目標を絞って追求できるようになります.

とりわけアプローチとしては、年間計画における製品チームの「新しいタイプのコンテンツ...キュレーションと共同開発ツールへの投資」という目標に追従しています.

解決策
この問題に取り組むには、査読者から苦戦している善意の初学者を見つけやすくすることが第一歩です. その実現には「最近の更新」の分析に、機械学習プログラムであるORES（Objective Revision Evaluation Service）を含むさまざまなソースから取り出したデータを使うよう提案します. 人間の判断で訓練された ORES の善意のモデルは、成功率98％の精度で誠実な編集の95％を検出できます. ORES により差し戻す編集とウィキを害する編集の予測もできます.

研究結果からも、特に初学者は編集を取り下げられると立ち直りにくいとわかっていますが、同時に、編集・査読、さらに場合によっては編集の取り下げさえも、newcomers. にとって強力な学習機会になる可能性も知られています. 初学者を支えて導くことに関心のある査読者から見てある一連の編集が、a) 却下される可能性は大きいけれど b) 誠意があると判断できる場合には、そのときこそ手助けするチャンスにしていただきたいのです.

以上の編集の分析を2通りの方法で利用者に提供します.


 * 特別:最近の更新　ベータ版の新しいフィルタ(編集の査読に用いる新しいフィルタはこちらで解説. )
 * 通称 ReviewStream　査読ツールに取り入れるよう設計された機械読み取りが可能なフィード(ReviewStream の解説はこちら).

現在の作業

 * 共同開発チームは問題の解析を進めながら設計思想を探り、製品が目指す方向性を視覚化しようとしています.
 * 問題の大きさを見極めて進捗状況を把握するため、編集の初学者の定着率の測定と定義づけに取り組んでいます.


 * Design Researchはこの問題にいろいろな面で影響を受けるユーザーの意欲とワークフローをもっと把握するため、聞き取り調査を準備し実行しています. 嫌がらせ行為巡回者、最近の巡回者、Teahouseの主催者、Welcoming Committee（旧あいさつ同好会）の委員およびAfC (提携団体委員会?) 審査員を含め、まもなく面接をお願いすることになります. （訳注：調査結果は2016年10月にResearch:New editor support strategiesとして公開済み. ）
 * Research and Dataチームは予測精度を高めるため、予測モデルを改良中です.


 * 2016年6月に開かれたウィキマニアにおいて、このプロジェクトに関して議論しました.

「最近の更新」のしぼり込み機能を改善
詳細情報



査読者が求める対象を最近の更新ページから簡単に探せるように、絞り込みの仕方を改善します. 投稿の一覧を絞り込みやすくすること、（特に新規参入者の支援に役立つ）絞り込み条件を増やすこと、また異なる目的ごとに複数のフィルターを組み合わせやすくすることを目指します.

こちらの双方向のプロトタイプで絞り込み機能の概念を示します. 前後関係の詳細は（英語）を読んでください.

目標達成までベータ版を多段階に改善します. 詳細は下記にあります.

初期段階の改善
初期段階では名前空間とタグは絞り込みシステムから除外します. ORESに関連するフィルターは対象とします. 採用するフィルターを列記します.
 * 査読 ページが未査読か他の査読者が処理済か識別し、自分が選んだほうに集中できる.
 * 貢献の品質 貢献の質の良し悪しを識別.
 * ユーザーの意図 貢献が善意によるか破壊的か識別.
 * ユーザーの経験レベル 執筆者の習熟度に応じて対象とする編集を絞り込む.

今後の計画
Creating the streams/pages of “teachable moments” described above has the potential to establish edit-review as a new space for instructing and supporting new editors. The mere existence of such a platform, however, won’t in itself ensure that this new practice will take root. To truly have an impact on newcomer retention, interventions may be required at multiple points in the editing and review cycles: before publication, to spot problems and enable authors to seek help; during review, to facilitate a constructive process; and even after review, to help new users overcome rejection and learn from from their experiences.

In addition to exploring ideas for intervening at various points, we’re pursuing answers to questions such as these:


 * How can we bring reviewers to this new activity?
 * What would make reviewers most effective in the job of supporting newcomers during edit review?
 * How can we make the process rewarding for reviewers, so that they stay involved?

The counter-vandalism community also has an important role to play in this arena. Richer data about edits and editors should make patrollers of all types not only more discriminating about which edits might be in good faith, but also more efficient at their job of combating harm. It will be important to work closely with vandalism fighters and others to understand how their processes and tools might best be adapted to realize these potential gains.

原則
このプロジェクトを進める上で、計画を導く原則は以下の通りです.


 * スマートでも人間的. 人間のやりとりを置き換えるのではなく、技術を使用してサポートする. 人工知能は分析は提供できても、意思決定を行うのは人間であるべき.
 * コミュニティを横断. Wiki固有のツールを構築するのではなく、どの言語やプロジェクト群でも機能する解決策を見つける.
 * 機能であってプラットフォームではない. 解決策は、現在および将来のコミュニティが作成するツール、ならびにWMFのツールを使って、拡張したり再利用したりできるものを探求する.
 * 携帯端末に対応. 編集の査読は現在、携帯端末であまり利用されていないものの、計画にはモバイルのユーザーを十分に考慮する.
 * 採用. 新技術の創出ばかりでなく、査読者が新しいツールを採り入れ、使い続けるように促す方法の発見に集中する.
 * 調整. 新しい解決策の模索は、可能な限り既存の実践に合わせて構築し統合する.
 * 成長型のアプローチ. この新しい領域では、段階的に進んでマイルストーンに到達するたび、次に進む方向を評価する.
 * エンドユーザー参加型デザイン. この分野で既に作業している編集者やツール開発者と協力する.

関連文書

 * Grants:IdeaLab/Fast and slow new article review
 * Research:Newcomer survival models