維基媒體應用程式/團隊/安卓系統(Android)/反破壞工具

背景

安卓系統（Android）團隊收到了來自不同語言社群的請求，希望透過應用程式提高編輯品質。 社群成員希望擁有公平且無偏見的跨維基管理工具。 團隊的目標是強化現有的管理流程，同時確保它的公平性。您可以在2022 願望清單中找到其中一個例子。

隨著應用程式最近的更新，例如原生監視清單、貢獻記錄、編輯歷史，以及在編輯差異頁面上添加撤銷和回退按鈕，我們有機會制定改善應用程式管理工具的方案。此改善方案將建立在現有的手機版微貢獻流程的基礎上。

團隊計劃開發一個反破壞工具（V1），以滿足各個語言維基上經驗豐富的管理員的需求。同時，團隊將引入培訓任務，以幫助編輯經驗豐富但沒有巡查經驗的編者學習巡查。我們將與社群密切合作來完成此項工作。該團隊同時將與研究團隊合作改進 ORES 等工具，並與處理移動版網頁上此問題的管理員工具（Moderator tools）團隊合作，確保跨平台用戶獲得無縫體驗。

產品需求：

• 編輯者可以查看各個編輯的差異
• 編輯者可以選擇「恢復」或「跳過」更改建議
• 可以顯示最近來自不同語言的維基的編輯
• 編輯者可以建立並儲存警告訊息，以便在撤銷編輯時使用
• 後續版本（V2）將容許有經驗的編者在應用程式上進行巡查

技術限制

目前單一介面中無法同時存在來自不同語言的維基的編輯，但使用者將可以在語言之間進行切換。

假設與驗證

假設與假定

我們認為，簡化巡邏任務並將其建構成高級任務將是有益的。 沒有管理員或回退權限的經驗豐富的編者可以被分配較容易的巡查或培訓任務，一旦他們達到初始巡查活動的門檻，他們就可以晉升到更高的級別。 為了實現這一目標，我們計劃從驗證概念開始，即由擁有回退權限用戶通常的巡查開始。

我們知道，與 NPP（新頁面巡查）、AFD（待刪除文章）和 AFC（待創建文章）等任務相比，巡查最近編輯是一項優先任務，並且更適合行動裝置。此外，我們希望社群能夠就跨不同語言實施培訓任務達成共識。

驗證

• 關鍵指標 1：65% 使用該工具的目標成熟受眾認為這有助於維護維基的質量，並將推薦給其他巡查者
• 關鍵指標2：成熟受眾的編輯量增加5%
• 關鍵指標 3：10% 的目標成熟受眾參與過濾器偏好
• 關鍵指標 4：65% 的目標成熟受眾在 30 天內至少使用該工具 3 次
• Guardrail：沒有回滾權限的經驗豐富的用戶，無論是否使用過替代巡邏工具，都應該同樣了解工作流程
• Guardrail：不應有關於該工具根據應用程式內報告機制對代表性不足的內容或貢獻者進行負面定位的報告

了解一些有幫助的事情

• 在查看 MediaWiki 標籤（SWViewer、Huggle 和 Twinkle）時，與其他巡查工具相比，我們的工具的使用情況如何
• 我們是否看到撤消/回滾/感謝事件增加
• 相對於其他「建議編輯」任務，此任務在我們的目標受眾中受歡迎程度如何？
• 該功能中哪些操作最受歡迎？

Risk management

Risk	Cause	Level	Response	Response Action	Trigger	Contingency Plan
Tool causes a decrease in new editor retention on wikis where it's available	Editors use the tool to increase the volume of edits they're able to revert, but do not leave talk page messages to explain the revert, leaving new editors confused and unmotivated.	Medium	Monitor	Measure the retention rate of editors who had a revert from the patroller task. If they got a talk message, did that increase their retention?	Qualitative complaints	If a user has not left a talk page message after using undo or rollback and attempts to move to next edit, add a prompt asking/requiring them to leave a Talk Page message
Policy disagreements between existing patrollers and newer patrollers using Edit Patrol / New patrollers use the tool a way that confuses other patrollers. Behavior and/or communication from App patrollers is seen as insufficient or lacking by other patrollers.	A new group of editors are able to start patrolling at scale using Edit Patrol, but they are not aware of existing policies or norms.	Medium	Mitigate	Post updates, and invite to office hours patrolling groups (CVU, recent changes patrol, small wiki monitoring team, stewards, global sysops, global rollbackers) before full release. Share Example Messages with communities.	Qualitative complaints from patrollers	Add more policy and template onboarding to tool, and revisit Example Messages after Community Configuration 2.0 is released. Continue work on building training task.
An increase in edit wars	Patrollers reviewing the same feed of edits go back and forth reverting each other's changes because revisions or rollbacks made in the tool appear in the feed for the next person (if no filters are applied).	Low	Accept	-	Qualitative complaints	Add more onboarding about policies surrounding Edit Wars. Add in-app warning for edit-war behavior.
The tool is being used to negatively target underrepresented content or contributors.	Patrollers are systematically reverting good faith edits for particular users or languages, harassing, or mistreating contributors through the tool.	Low	Mitigate	Unless otherwise requested per wiki, the tool available to those with rollback rights.	Qualitative complaints, in-app reporting mechanisms, guardrail analysis by Product Analyst	Add universal code of conduct onboarding to tool.
The tool causes an increase in vandalism, and increase in amount of work for existing patrollers	Vandals use the streamlined interface to quickly revert or rollback large quantities of good faith edits.	Low (Dormant)	Mitigate	Unless otherwise requested per wiki, the tool available to those with rollback rights.	Qualitative complaints and anomalies surfaced in data reporting	Implement a maximum number of undos/rollbacks that can be done in a range of time.
Someone is exposed to vandalism or there is a copyright violation in Example Messages provided in-app	A vandal has edited the Example Messages or pasted copyright material in using Community Configuration 2.0 or Translate.wiki, and they automatically appear in everyone's app	Low (Dormant)	Mitigate	Once community configurable, ensure permissions are set for editing with Growth team.	Qualitative complaints	Inrease necessary permissions to edit Example Messages.

如何跟隨

我們創建了T322083作為 Phabricator Epic 來追蹤這項工作。我們邀請您在那裡或在我們的討論頁面上與我們合作。 我們邀請您在那裡或在我們的討論頁面上與我們合作。

隨著進展，我們將在此頁面上定期更新。如果您有興趣參加我們主持的設計回饋會議，請在我們的討論頁面上告知我們，我們將與您聯繫。

我們有以下推出策略：

2023–2024 時段	諮詢	發佈給回滾權限的用戶
2023年10月	印尼语维基百科
2023年11月	印尼语维基百科	印尼语维基百科
2024年1月	西班牙语维基百科, 法语维基百科
2024年2月	西班牙语维基百科, 法语维基百科
2024年3月	中文维基百科, 英语维基百科, 伊博语维基百科	西班牙语维基百科, 法语维基百科
2024年4月	英语维基百科, 伊博语维基百科, Global Sysops and Rollbackers	英语维基百科, 伊博语维基百科
2024年5月	待定	適用於所有維基專案

技術文檔

如果您有興趣了解該功能的實作方式，請造訪巡邏者任務開發說明以了解更多詳細資訊。

更新

2024年2月

• We hosted two synchronous community consultations & recorded a third where we shared the Edit Patrol workflow, and showed designs for Saved messages and templates:
  • French - 21 February 2024 from 16-17 UTC: recording with translation, slides
  • Spanish - 28 February 2024 from 16-17 UTC: English recording, recording with Spanish interpretation(passcode: za2.jeE8).
  • Chinese - shared via asynchronously: recording, slides, transcripts: Simplified, Traditional

• We've started development on Saved Messages T356774 (example messages available in the App) and access to templates T355141, which was well received by French Wikipedia. Draft saved messages are posted here, and we welcome feedback on the discussion page.

• Another community member raised interest in the example warning messages being configurable via the community config.(T358265#9573393), and we are coordinating with the Growth team on this.

• French Wikipedians reaffirmed the choice of Edit Patrol only being available to rollbackers.

2024年1月

• Indonesian Wikipedia requested consideration for using Edit Patrol in the upcoming election to fight disinformation and vandalism. Our team had the feature reviewed by our legal team, and volunteers were cleared to use the tool for patrolling during their upcoming election.

• This month we learned that some communities appreciate being able to have speedy deletion as an option in patrolling tools, which we will consider for future iterations of this feature.

• Additionally, our team met with the Growth, Moderator Tools and Machine Learning teams to discuss adding the revert risk model to recent changes filtering. We may be able to switch over from using Good Faith and Damaging ORES scores to the Revert Risk model as we scale to Spanish, French and Chinese Wikipedias in the coming months. This may open the door for an experimental training task for experienced editors without rollback rights.

• We have established demo sessions for our next set of pilot wikis:
  • French Moderators - scheduled for 21 February 2024 from 16-17 UTC
  • Spanish Moderators - scheduled for 28 February 2024 from 16-17 UTC
  • Chinese Moderators - recorded presentation to be shared asynchronous

• We received warning templates from Indonesian Wikipedia, which evaluated alongside other templates to create saved warning messages that will be used in the app.

• Our designer worked on the flow and UI for the saved warning messages and templates, which will be released in the coming months.
  • Saved Messages,T356774

• 
  Choose Talk
• 
  Select message from list of saved messages
• 
  Select from list of example messages
• 
  Create new message
• 
  Review message and make changes
• 
  Save as new message or update saved message
• 
  Review preview and publish (Web view)
• 
  Edit list of messages by swiping left or right
• 
  Reorder or delete multiple messages
• 
  Saved messages are always accessible from the overflow menu

• Template Flow: T355141: The team is working to add support for templates, so patrollers can utilize existing templates in their messages

• 
  Templates will be accessible from the Wikitext editing toolbar
• 
  In Saved Messages (Edit Patrol), create a new message
• 
  Compose message, and open Template icon
• 
  Search for templates by name, recently used are displayed
• 
  Fill out template form and insert
• 
  Message with template inserted. Then follow same steps to, save, preview, publish

2023年12月

Patrolling Pain Points on French Wikipedia

We met with a few language communities to get feedback about Edit patrol. The Indonesian Wikipedia community approved the release of the feature for their community and shared which templates are used for warnings, which we will incorporate in a future release. For the month of December we are enabling users to save warning messages on their device (T343841). In January we will begin outreach to Spanish and Chinese Wikipedia to scale to more communities. We’ve already begun outreach to French Wikipedia via the French Wikimedia ED, he shared some pain points identified by French patrollers as it relates to RC Live and SWViewer and other tools as it relates specifically to the French Wikipedia community that we are taking into consideration for Edit Patrol. We are hoping to establish office hours sometime in February with French Wikipedia to discuss Edit patrol.

2023年11月

Release to Indonesian Wikipedia

Edit Patrol 已發佈到印尼語和維基百科測試版。為了在「建議編輯」中查看該功能，您必須具有回滾或管理員權限。 In order to see the feature in Suggested Edits you must have rollback or sysops rights.

透過第一個版本，回滾權限的用戶能夠：

• 加入任務並解釋何時使用「感謝」、「觀察」、「警告」、「撤消」或「回滾」，以及 ORES 分數的解釋。 (T343242)

• 
  訓練模式 1
• 
  訓練模式 2
• 
  訓練模式 3
• 
  巡邏編輯 1
• 
  巡邏編輯 2

• 撰寫、儲存並發佈第一條警告訊息。 (T344842)

• 
  撰寫新的警告訊息
• 
  編輯新訊息
• 
  回擊
• 
  空白主題
• 
  空白訊息
• 
  儲存變更
• 
  訊息已發佈
• 
  嘗試不帶訊息標題發佈
• 
  新增訊息標題
• 
  訊息已儲存並發佈

• 選擇、編輯、儲存和發佈現有警告訊息 (T344842)

• 
  新增訊息
• 
  選擇訊息
• 
  已選擇的訊息
• 
  編輯訊息
• 
  預覽訊息
• 
  發佈、保存
• 
  儲存新訊息 空訊息標題
• 
  預覽訊息
• 
  儲存變更訊息
• 
  訊息已儲存並發佈

• 查看有關其他編輯的信息，包括他們作為編輯的任期和編輯次數(T343835)

• 
  編輯選單列表
• 
  使用者資訊模態

• 最近更改來源的篩選器包括維基專案的語言、註冊狀態、經驗程度、品質分數預測、使用者意圖預測、自動貢獻和編輯的重要性。過濾器頁面同時允許按最新版本排序，也可以透過編輯進行搜尋。

篩選無結果

• 報告過濾器問題的能力(T343834)

應用程式列選單 - 功能對話框問題

我們歡迎有關該功能的回饋，因為我們準備好聯繫其他維基專案來擴展該功能。

2023 年 9 月：推進巡查者任務 V1——向印尼語維基百科社群推出新功能

我們繼續開發巡查者任務的 V1，並向印尼語維基百科宣布了該功能。我們的工程師示範了巡查者任務 V1 的過濾器：

• 
  沒有結果
• 
  重置過濾器
• 
  預設過濾器

2023 年 8 月：專案更新與技術考量

• We shared updates about this project at Wikimania. The recording can be found on Youtube starting at 1:24:30. We received a question about having a central place for Warning messages that can be used across apps. We are planning to work with the Growth team to explore the possibility of centralized warning messages.
• We became aware of the deprecation of ORES and migration to Liftwing which will host the revertrisk model. Due to our team using the MediaWiki API to show the recent edits feed, we will continue to show the Goodfaith and Damaging Models at least in V1. Using the Revert Risk model would require two API calls, which could slow down the feature, this also doesn’t address filtering. If you have feedback about this technical decision, feel free to comment on our discussion page.
• We created designs for Onboarding to the feature T343242.

• 
  解釋該功能的用途
• 
  主要行動清單
• 
  數據採集
• 
  解釋「品質」分數
• 
  解釋「意圖」分數
• 
  指示可以在哪裡提交有關該功能的回饋

2023 年 7 月：設計研究與訪談結果

可用性測試

我們進行了一項有審核的遠端可用性測試，涉及六名經驗豐富的貢獻者，他們使用安卓系統(Android)設備並自願花時間監控西班牙語、法語、英語和中文維基專案上的活動。 我們從這些維基專案中選擇了參與者，因為他們擁有大量具有管理員/回滾權限的編輯，這使我們能夠有效地收集可用性回饋。

巡查員對「編輯巡邏」工具的早期設計和可用性提供了寶貴的見解。

在測驗期間，編輯人員的任務是使用該工具的有限原型完成簡短的作業。他們同時被要求即時敘述他們完成這些任務時的經歷。

• 
  在應用程式中找到該工具
• 
  從最近編輯清單中選擇一個編輯
• 
  查看頁面上的差異和附加信息
• 
  決定是否應恢復編輯
• 
  向編輯發送警告訊息
• 
  將頁面新增到他們的關注列表中

For additional details about the usability test, please refer to the following link.

結果

參與者的回饋和寶貴建議有助於改進初始設計。 我們實施了以下改進：

• 參與者表示希望在最近編輯頁面上為每次編輯顯示標籤，並能夠辨別編輯者是否對單一頁面進行了多次編輯。

• 
  之前的編輯列表
• 
  新的編輯列表
• 
  下拉式選單可查看同一編輯者在同一頁面上所做的編輯

• 我們的目標是在顯示最近編輯的頁面上合併篩選器。為了確定「編輯巡邏」工具初始版本的過濾器，我們諮詢了巡查員。他們建議包括以下過濾器：語言、用戶註冊和體驗、自動貢獻、貢獻品質預測、用戶意圖預測、最新修訂和重要性。隨後，我們設計了一個包含這些過濾器的頁面，如下所示。

• 
  過濾器

• 差異視圖頁面已簡化

• 
  之前的差異視圖頁面
• 
  之前帶有完整底部工作表的差異視圖頁面
• 
  新的差異視圖頁面

• 較小的設計增強已應用於為巡查員創建、保存、發佈和編輯警告訊息的過程。現將修改後的設計展示如下，以供大家參考。

• 
  編寫新的警告訊息
• 
  選擇已儲存的警告訊息

• 參與者提供了有關巡邏的進一步回饋，我們的目標是透過入門、工具提示或提醒在工具中傳達這些回饋。這些要點包括：以同理心與其他貢獻者溝通的重要性，以及強調巡視編輯的品質優先於數量。

「編輯巡邏」工具目前正處於開發階段，您可以透過Phabricator T343224追蹤其進度。

2023 年 2 月：初始設計概念

該團隊透過結合現有工具的見解和我們收集的有關其局限性的回饋，開發了初步的設計概念。 我們與管理員工具團隊和研究團隊分享了這些概念，以徵求他們的意見和回饋。

• 
  Concept for filtering contribution date, ORES Scores or Language
• 
  Design concept for expanding the bottom sheet
• 
  Design concepts for the overflow menu
• 
  Design concept for using templates when leaving a warning

我們將利用收到的回饋來改進設計概念，並為應用程式使用者的審核和非同步回饋建立協議。 目前，我們正在啟動直接外展活動，以安排主持的回饋會議，並確保這些會議的翻譯機制到位。 一旦該協議在 MediaWiki 上可用，我們將發出更廣泛的通訊，開始在我們的討論頁面上收集非同步回饋。

提供的設計概念旨在提供範例，說明我們如何解決其他工具面臨的問題。 但是，請注意，我們正處於此過程的早期階段，設計將根據我們在未來幾週內收到的回饋進行演變和擴展。

2023 年 1 月：比較審查與現有使用者研究

團隊進行了對比審查，分析了現有的巡邏工具。 在審查過程中，我們評估了這些工具之間的異同，並確定了哪些工具在行動裝置上有效。

我們已審查的工具完整清單包括：

• Huggle
• Twinkle

• TwinkleMobile
• STiki
• SWViewer
• WikiLoop Double Check
• CheckWiki
• ReWarn
• CheckWiki

透過我們的評估，我們發現大多數工具都針對桌面使用進行了最佳化，只有三個例外。此外，上述解決方案中只有兩個在各種語言的維基專案上表現良好。

這些工具中常見的元素是：

• 代表主要操作的圖示（例如恢復、快速刪除、歡迎用戶等）
• 存取模板
• 過濾器
• 貢獻清單
• 差異
• 有關編輯的信息

除了對現有工具進行比較審查之外，我們同時收集了巡查員關於這些工具的反覆請求。常見的請求包括：

• 按感興趣的主題和特定時段過濾貢獻
• 一種排除已巡查的貢獻的簡單方法
• 不需要特殊權限，例如存取工具的回溯權限
• 「跳過」和「恢復」之間的選項可實現更細緻的操作
• 促進巡查員之間合作的工具

透過考慮這些要求，我們的目標是開發一個全面的巡邏解決方案，滿足不同語言和使用者體驗水平的巡查員的需求和偏好。

2022 年 12 月：概念驗證原型

該團隊開發了一個概念驗證原型，以探索使用現有 API 的功能和可能性。 這個原型使我們能夠測試和實驗不同的功能並評估我們想法的可行性。 這種早期探索有助於我們了解這些工具的潛力，並在進一步開發之前完善我們的方法。

• 
  反破壞巡邏任務概念驗證
• 
  反破壞巡邏概念驗證
• 原型的頁面錄影

在我們的開發過程中，我們成功公開了 ORES 分數，該分數為用戶提供了某些東西可能被破壞的可能性指示。此功能可讓使用者深入了解編輯質量，並幫助他們在巡查過程中做出明智的決策。理想情況下，我們會向研究團隊的 API 發送回饋以進行改進，這對於提高 ORES 評分的準確性和有效性非常有價值。

2022 年 11 月：定義初始受眾

該團隊進行了研究(T322065)，以評估擁有管理員和回滾權限的維基百科應用程式使用者的數量。 調查結果顯示，372 名安卓系統(Android)應用程式用戶和 176 名 iOS 用戶擁有這些權利。 根據這些數據，我們決定優先在安卓系統(Android) 應用程式中推出該功能，以便 iOS 開發團隊能夠專注於建立「關注列表」功能。

此外，我們同時試著了解不同語言中擁有管理員和回溯權限的使用者分佈。這些資訊在確定我們在初始研究階段直接推廣的初始目標語言社群方面發揮了至關重要的作用。透過關注這些特定的語言社群，我們的目標是從具有審核和巡邏經驗的用戶那裡獲得寶貴的見解和回饋，這將有助於開發該功能以供更廣泛的使用：

• 英语维基百科
• 法语维基百科
• 中文维基百科
• 西班牙语维基百科

雖然我們專注於直接接觸特定語言的維基社群和作業系統用戶，但我們想強調，我們歡迎並高度鼓勵任何具有巡邏經驗的應用程式用戶提供回饋和想法。我們同時重視網路使用者的意見，但我們的首要任務是收集應用程式使用者的回饋。

創建跨平台的統一體驗至關重要，為了實現這一目標，我們與管理員工具團隊密切溝通，他們將為網頁用戶建立相關的體驗。透過學習他們的發現並密切合作，我們的目標是確保應用程式和網路平台的連續性和一致性。您的回饋和想法將對所有使用者的巡邏功能的開發和改進發揮至關重要的作用。