Aplikasi Wikimedia/Tim/Android/Anti Vandalisme

From mediawiki.org
This page is a translated version of the page Wikimedia Apps/Team/Android/Anti Vandalism and the translation is 32% complete.
Outdated translations are marked like this.

Latar belakang

Tim kami telah menerima masukan dari berbagai komunitas agar meningkatkan kualitas penyuntingan yang dilakukan melalui aplikasi. Selain itu, mereka juga menginginkan akan penerapan perkakas moderasi yang tidak bias ke seluruh proyek Wikimedia. Kami memiliki tujuan untuk meningkatkan sistem yang sudah dimiliki sebelumnya dengan cara memastikan kualitas moderasi melalui halaman berikut.

Melalui pembaruan terkini yang tersedia di aplikasi; yaitu seperti daftar pantau, riwayat suntingan, serta kemampuan untuk mengembalikan suntingan hanya dengan satu klik; hal ini sangat memungkinkan bagi kami untuk membuat sistem moderasi di dalam aplikasi tersebut.

Maka dari itu, kami memiliki rencana untuk mengembangkan perkakas anti vandalisme (tahap pertama) yang ditujukan bagi kontributor berpengalaman di seluruh proyek Wikimedia. Selain itu, dari pihak komunitas sendiri diharapkan agar membuat pelatihan bagi kontributor yang belum pernah memiliki pengalaman dalam berpatroli. Kami berharap dengan pendekatan ini akan menciptakan kesepemahaman antara kami dengan komunitas yang notabene sudah memiliki pengalaman lebih dalam memantau suntingan terbaru.

Kriteria perkakas

  • Kontributor dapat melihat perbedaan suntingan
  • Kontributor memiliki opsi untuk melewati perubahan yang disarankan
  • Suntingan terkini dari seluruh proyek Wikimedia dapat ditampilkan
  • Kontributor dapat membuat dan/atau menyimpan pesan yang digunakan untuk mengembalikan suntingan
  • Kontributor berpengalaman akan diperkenalkan dengan sistem patroli melalui aplikasi pada tahap pengembangan berikutnya.

Keterbatasan teknis

Untuk saat ini tidak dimungkinkan untuk menampilkan berbagai macam bahasa dalam satu sistem, tetapi kontributor mampu untuk berpindah antar bahasa lainnya.

Currently, it's not possible to have multiple languages in a single feed, but users will have the ability to switch between languages.

Hipotesis dan indikator kesuksesan

Hipotesis

Tugas patroli biasanya cukup memberatkan dan memakan banyak waktu, tetapi akan menjadi lebih bermanfaat apabila prosesnya diringankan dan tidak terlalu membebani kontributor. Secara umum, kontributor yang melakukan patroli adalah pengguna lama (berpengalaman) dan/atau pengguna dengan status tertentu (misalnya seperti pengembali revisi, pengurus, dsb.) Dengan mengurangi beban mereka dalam melakukan patroli, maka mereka bisa lebih berfokus ke hal lainnya (seperti membimbing kontributor baru) yang juga bermanfaat.

We believe that simplifying the patrolling tasks and structuring them as advanced-level tasks would be beneficial. Experienced editors without sysops or rollback rights could be assigned easier patrolling tasks or a training task, and once they reach a threshold of initial patrolling activities, they can be promoted to higher levels. To achieve this, we plan to start with a proof of concept for general patrolling of edits based on users with rollback rights.

Kami menyadari bahwa patroli lebih sering dilakukan di halaman Perubahan Terbaru. Maka dari itu, kami akan melakukan pendekatan ke beberapa komunitas Wikimedia agar nantinya perkakas ini bisa beradaptasi dengan kebutuhan komunitas.

Indikator kesuksesan

  • Pertama: sekitar 65% kontributor yang menggunakan perkakas merasa terbantu dan akan merekomendasikannya kepada kontributor lain
  • Kedua: jumlah kontribusi meningkat sekitar 5%
  • Ketiga: sekitar 10% kontributor menggunakan preferensi penyaringan
  • Keempat: sekitar 65% kontributor menggunakan perkakas sebanyak tiga kali per hari selama 30 hari berturut-turut

Bagaimana cara agar saya dapat berpartisipasi?

Kami membuat halaman Phabricator untuk memantau perkembangan proyek ini. Selain itu, kami juga mengajak Anda untuk berdiskusi di halaman pembicaraan.

Risk management

Risk Cause Level Response Response Action Trigger Contingency Plan
Tool causes a decrease in new editor retention on wikis where it's available Editors use the tool to increase the volume of edits they're able to revert, but do not leave talk page messages to explain the revert, leaving new editors confused and unmotivated. Medium Monitor Measure the retention rate of editors who had a revert from the patroller task. If they got a talk message, did that increase their retention? Qualitative complaints If a user has not left a talk page message after using undo or rollback and attempts to move to next edit, add a prompt asking/requiring them to leave a Talk Page message
Policy disagreements between existing patrollers and newer patrollers using Edit Patrol / New patrollers use the tool a way that confuses other patrollers. Behavior and/or communication from App patrollers is seen as insufficient or lacking by other patrollers. A new group of editors are able to start patrolling at scale using Edit Patrol, but they are not aware of existing policies or norms. Medium Mitigate Post updates, and invite to office hours patrolling groups (CVU, recent changes patrol, small wiki monitoring team, stewards, global sysops, global rollbackers) before full release. Share Example Messages with communities. Qualitative complaints from patrollers Add more policy and template onboarding to tool, and revisit Example Messages after Community Configuration 2.0 is released. Continue work on building training task.
An increase in edit wars Patrollers reviewing the same feed of edits go back and forth reverting each other's changes because revisions or rollbacks made in the tool appear in the feed for the next person (if no filters are applied). Low Accept - Qualitative complaints Add more onboarding about policies surrounding Edit Wars. Add in-app warning for edit-war behavior.
The tool is being used to negatively target underrepresented content or contributors. Patrollers are systematically reverting good faith edits for particular users or languages, harassing, or mistreating contributors through the tool. Low Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints, in-app reporting mechanisms, guardrail analysis by Product Analyst Add universal code of conduct onboarding to tool.
The tool causes an increase in vandalism, and increase in amount of work for existing patrollers Vandals use the streamlined interface to quickly revert or rollback large quantities of good faith edits. Low (Dormant) Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints and anomalies surfaced in data reporting Implement a maximum number of undos/rollbacks that can be done in a range of time.
Someone is exposed to vandalism or there is a copyright violation in Example Messages provided in-app A vandal has edited the Example Messages or pasted copyright material in using Community Configuration 2.0 or Translate.wiki, and they automatically appear in everyone's app Low (Dormant) Mitigate Once community configurable, ensure permissions are set for editing with Growth team. Qualitative complaints Inrease necessary permissions to edit Example Messages.

Bagaimana cara agar saya dapat berpartisipasi?

Kami membuat halaman Phabricator untuk memantau perkembangan proyek ini. Selain itu, kami juga mengajak Anda untuk berdiskusi di halaman pembicaraan.

Kami akan memberikan informasi terkini secara berkala di halaman ini. Apabila Anda tertarik untuk berpartisipasi dalam sesi umpan balik yang kami lakukan, silakan hubungi kami di halaman pembicaraan.

Berikut adalah strategi perilisan secara bertahap yang akan kami lakukan:

Periode 2023-2024 Permohonan pendapat Dirilis untuk pengguna dengan hak pengembali revisi
Oktober 2023 Wikipedia bahasa Indonesia
November 2023 Wikipedia bahasa Indonesia Wikipedia bahasa Indonesia
Januari 2024 Wikipedia bahasa Spanyol, Wikipedia bahasa Prancis
Februari 2024 Wikipedia bahasa Spanyol, Wikipedia bahasa Prancis
Maret 2024 Wikipedia bahasa Tionghoa, Wikipedia bahasa Inggris, Wikipedia bahasa Igbo Wikipedia bahasa Spanyol, Wikipedia bahasa Prancis
April 2024 Wikipedia bahasa Inggris, Wikipedia bahasa Igbo, Global Sysops and Rollbackers Wikipedia bahasa Inggris, Wikipedia bahasa Igbo
Mei 2024 Menyusul Tersedia untuk semua wiki

Dokumentasi teknis

If you are interested in seeing how the feature is implemented, please visit the Patroller Tasks Dev Note for more details.

Berita terbaru

Agustus 2023: Wikimania dan informasi teknis

  • Kami membagikan informasi terkini perihal proyek ini di acara Wikimania 2023 yang dapat dilihat di sini. Selama sesi berlangsung, kami menerima masukan perihal pesan peringatan yang dikelola secara terpusat agar bisa digunakan di seluruh proyek Wikimedia. Kami berencana untuk bekerja sama dengan Tim Growth agar dapat mewujudkan ide ini.
  • Kami merancang desain halaman awal sebagai sambutan kepada kontributor yang menggunakan perkakas ini untuk pertama kalinya.

Februari 2024

  • We've started development on Saved Messages T356774 (example messages available in the App) and access to templates T355141, which was well received by French Wikipedia. Draft saved messages are posted here, and we welcome feedback on the discussion page.
  • Another community member raised interest in the example warning messages being configurable via the community config.(T358265#9573393), and we are coordinating with the Growth team on this.
  • French Wikipedians reaffirmed the choice of Edit Patrol only being available to rollbackers.

Januari 2024

  • Indonesian Wikipedia requested consideration for using Edit Patrol in the upcoming election to fight disinformation and vandalism. Our team had the feature reviewed by our legal team, and volunteers were cleared to use the tool for patrolling during their upcoming election.
  • This month we learned that some communities appreciate being able to have speedy deletion as an option in patrolling tools, which we will consider for future iterations of this feature.
  • Additionally, our team met with the Growth, Moderator Tools and Machine Learning teams to discuss adding the revert risk model to recent changes filtering. We may be able to switch over from using Good Faith and Damaging ORES scores to the Revert Risk model as we scale to Spanish, French and Chinese Wikipedias in the coming months. This may open the door for an experimental training task for experienced editors without rollback rights.
  • We have established demo sessions for our next set of pilot wikis:
    • French Moderators - scheduled for 21 February 2024 from 16-17 UTC
    • Spanish Moderators - scheduled for 28 February 2024 from 16-17 UTC
    • Chinese Moderators - recorded presentation to be shared asynchronous
  • Our designer worked on the flow and UI for the saved warning messages and templates, which will be released in the coming months.
  • Template Flow: T355141: The team is working to add support for templates, so patrollers can utilize existing templates in their messages

Desember 2023

Patrolling Pain Points on French Wikipedia

We met with a few language communities to get feedback about Edit patrol. The Indonesian Wikipedia community approved the release of the feature for their community and shared which templates are used for warnings, which we will incorporate in a future release. For the month of December we are enabling users to save warning messages on their device (T343841). In January we will begin outreach to Spanish and Chinese Wikipedia to scale to more communities. We’ve already begun outreach to French Wikipedia via the French Wikimedia ED, he shared some pain points identified by French patrollers as it relates to RC Live and SWViewer and other tools as it relates specifically to the French Wikipedia community that we are taking into consideration for Edit Patrol. We are hoping to establish office hours sometime in February with French Wikipedia to discuss Edit patrol.

November 2023

Release to Indonesian Wikipedia

Edit Patrol was released to Indonesian and Test Wikipedia. In order to see the feature in Suggested Edits you must have rollback or sysops rights.

Through this first release, rollbackers are able to:

  • Onboarding to the task with an explanation of when to use Thank, Watch, Warn, Undo or Rollback, as well as an explanation of ORES scores. (T343242)
  • Compose, save, and publish first warning messages. (T344842)
  • Select, edit, save and publish existing warning message (T344842)
  • View information about other editors including their tenure as an editor and their edit count (T343835)
  • Filters for the recent changes feed include language wiki, registration status, experience level, quality score prediction, user intent prediction, automated contributions and significance of edit. The filter page also allows sorting by latest revision. It is also possible to search through edits.
Filter with no results
  • An ability to report issues with the filter (T343834)
App bar menu-problem with the feature dialog

We welcome feedback about the feature as we prepare to reach out to additional wikis to scale the feature.

September 2023: Advancing V1 of Patroller Tasks: Unveiling New Features to the Indonesian Wikipedia Community

We continued development on V1 of Patroller tasks and announced the feature to Indonesian Wikipedia. Our engineers demoed the filters for Patroller task V1:

Agustus 2023: Informasi terkini mengenai proyek dan pertimbangan teknis

  • We shared updates about this project at Wikimania. The recording can be found on Youtube starting at 1:24:30. We received a question about having a central place for Warning messages that can be used across apps. We are planning to work with the Growth team to explore the possibility of centralized warning messages.
  • We became aware of the deprecation of ORES and migration to Liftwing which will host the revertrisk model. Due to our team using the MediaWiki API to show the recent edits feed, we will continue to show the Goodfaith and Damaging Models at least in V1. Using the Revert Risk model would require two API calls, which could slow down the feature, this also doesn’t address filtering. If you have feedback about this technical decision, feel free to comment on our discussion page.
  • We created designs for Onboarding to the feature T343242.

Juli 2023: Hasil wawancara dan riset desain

Uji coba ketergunaan

Kegiatan ini melibatkan 6 kontributor berpengalaman yang menggunakan perangkat Android dan bersedia untuk memantau perubahan terbaru di Wikipedia bahasa Spanyol, Prancis, Inggris, dan Tiongkok. Kami memilih kontributor dari bahasa tersebut karena banyaknya kontributor yang berstatus pengurus dan/atau pengembali revisi.

Usability Testing

A moderated remote usability test was conducted involving six experienced contributors who use Android devices and volunteer their time for monitoring activities on Spanish, French, English, and Chinese language wikis. We selected participants from these wikis due to their high number of editors with sysop/rollback rights, which allowed us to gather usability feedback effectively.

Mereka memberikan masukan bermanfaat bagi tahapan awal dari perkakas patroli yang tersedia di aplikasi.

Selama uji coba, kontributor ditugaskan untuk melakukan beberapa tahapan berikut.

Untuk lebih detail mengenai tes ini, silakan kunjungi halaman ini. File:Patrol edit - Prototype - List of edits.png|Choose an edit from the list of recent edits File:Edit patrol - Prototype - Diff view & full bottom sheet.png|Review the diff and additional information on the page File:Edit patrol - Prototype - Revert edit.png|Decide whether the edit should be reverted File:Edit patrol - Prototype - Warning message preview.png|Send a warning message to the editor File:Edit patrol - Prototype - Add to watchlist.png|Add the page to their Watchlist </gallery>

For additional details about the usability test, please refer to the following link.

Hasil

Pembaruan sudah kami lakukan berkat masukan dari kontributor, berikut adalah beberapa di antaranya:

The feedback and valuable suggestions from participants have contributed to enhancing the initial designs. The following improvements were implemented:

  • Kontributor menginginkan tag dapat muncul di setiap suntingan yang masuk di halaman suntingan terkini, serta melihat apakah kontributor (yang melakukan suntingan tersebut) melakukan beberapa suntingan di satu halaman.

File:Edit patrol - list of edits.png|New list of edits File:Edit patrol - list of edits - dropdown.png|Dropdown to see the edits made by the same editor on the same page </gallery>

  • Terlepas kami sudah memiliki rencana untuk menerapkan filter/penyaringan di halaman daftar suntingan, kontributor memberikan masukan agar ditambahkan yaitu sbb.: bahasa, data registrasi, kontribusi otomatis, prediksi kualitas kontribusi, prediksi niat kontributor, dan riwayat terkini. Maka dari itu, kami merancang halaman yang dapat menampilkan semua filter tersebut.

</gallery>

  • Tampilan perbedaan revisi yang disederhanakan

File:Edit patrol - Prototype - Diff view & full bottom sheet.png|Previous diff view page with full bottom sheet File:Edit patrol - Diff view.png|New diff view page </gallery>

  • Penyempurnaan desain dalam skala kecil untuk proses membuat, menyimpan, menerbitkan, dan menyunting pesan peringatan untuk kontributor. Berikut adalah referensi desainnya.
  • Kontributor memberikan masukan secara lebih lanjut perihal patroli dengan memberikan pelatihan, tips, dan pengingat bagi kontributor yang melakukan patroli. Beberapa di antaranya adalah: melakukan komunikasi antar kontributor dengan pendekatan empati, serta mengedepankan kualitas kontribusi dibandingkan kuantitas (jumlah).

Fitur patroli sedang dalam tahap pengembangan. Anda dapat melihat proses pengembangannya melalui halaman Phabricator berikut.

Februari 2023: Konsep awal

Kami membuat desain/konsep awal aplikasi berdasarkan perkakas patroli di proyek Wikimedia yang sudah ada sebelumnya.

The team developed initial design concepts by incorporating insights from existing tools and feedback we gathered on their limitations. We shared these concepts with the Moderator Tools Team and Research Team for their input and feedback.

We will use the feedback received to improve the design concepts and establish a protocol for both moderated and asynchronous feedback from app users. Currently, we are initiating direct outreach to schedule moderated feedback sessions and ensure translation mechanisms are in place for those sessions. Once the protocol is available on MediaWiki, we will send out a broader communication to start gathering asynchronous feedback on our talk page.

Perlu diingat bahwa konsep di atas merupakan adaptasi dari beberapa contoh perkakas patroli lainnya ketika menghadapi masalah serupa. Terlepas dari itu, hasil akhir dari aplikasi kemungkinan tidak akan serupa dengan konsep tersebut dan akan disesuaikan dari masukan yang diberikan oleh kontributor. However, please note that we are in the early stages of this process, and the designs will evolve and expand based on the feedback we receive in the coming weeks.

Januari 2023: Penelitian dan perbandingan aplikasi

Kami melakukan perbandingan terhadap beberapa perkakas patroli yang sudah ada sebelumnya dan dibuat oleh kontributor itu sendiri.

The team conducted a comparative review to analyze the existing patrolling tools. During the review, we assessed the similarities and differences between the tools and identified which ones were effective on mobile devices.

Beberapa perkakas tersebut di antaranya:

  • Huggle
  • Twinkle
  • TwinkleMobile
  • STiki
  • SWViewer
  • WikiLoop Double Check
  • CheckWiki
  • ReWarn
  • CheckWiki

Setelah kami lihat lebih jauh, banyak perkakas hanya dapat berfungsi dengan baik apabila dijalankan melalui desktop. Selain itu, hanya dua perkakas yang berjalan dengan maksimal untuk diterapkan secara menyeluruh di proyek Wikimedia.

Beberapa elemen penting yang kami temukan, yaitu:

  • Adanya ikon untuk merepresentasikan tindakan (misalnya pengembalian suntingan, penghapusan cepat, penyambutan pengguna baru, dsb.)
  • Akses cepat untuk menampilkan templat tertentu
  • Penyaringan
  • Daftar kontributor
  • Perbandingan riwayat suntingan
  • Informasi mengenai kontributor

Kami juga menerima masukan dari kontributor yang menggunakan perkakas tersebut, beberapa di antaranya adalah:

  • Dapat menyaring kontribusi berdasarkan topik dan waktu secara spesifik
  • Memudahkan kontributor dalam mengecualikan suntingan yang sudah diperiksa
  • Keterbukaan akses perkakas bagi siapa saja tanpa memandang hak pengguna
  • Menyediakan opsi (berupa "lewati" dan "kembalikan suntingan") bagi suntingan yang sering muncul
  • Perkakas yang mengedepankan kolaborasi antar kontributor

Berdasarkan masukan di atas, kami berkeinginan untuk mengembangkan aplikasi patroli yang dapat membantu banyak kontributor dalam memberantas vandalisme.

Desember 2022: Pembuatan prototipe

Kami membuat prototipe untuk mencari lebih jauh kemampuan dan kemungkinan dari aplikasi yang akan dibuat berdasarkan sistem yang sudah tersedia.

The team developed a proof of concept prototype to explore the capabilities and possibilities using existing APIs. The prototype allowed us to test and experiment with different functionalities and assess the feasibility of our ideas. This early exploration helps us understand the potential of the tools and refine our approach before moving forward with further development.

Dalam tahap ini, kami berhasil dalam menampilkan skor ORES yang sangat berguna untuk memberikan informasi bagi kontributor apakah suatu suntingan terindikasi vandalisme atau bukan.

November 2022: Menentukan subjek awal penelitian

Kami melakukan penelitian untuk menghitung seberapa banyak pengguna aplikasi Wikipedia yang memiliki hak pengurus dan pengembali revisi. Hasilnya terdapat 372 kontributor pengguna aplikasi Wikipedia di Android dan 176 kontributor pengguna aplikasi Wikipedia di iOS. Berdasarkan data tersebut, kami memprioritaskan pengembangan aplikasi untuk Android dan iOS setelahnya.

The team conducted research (T322065) to assess the number of Wikipedia app users with sysops and rollback rights. The findings revealed that 372 Android app users and 176 iOS users had these rights. Based on this data, we decided to prioritise the rollout of the feature in the Android app, allowing the iOS development team to focus on building the Watchlist feature.

Agar memudahkan kami dalam melakukan uji coba terhadap aplikasi ini ke depannya, maka kami akan berfokus kepada beberapa komunitas berikut (untuk saat ini) agar mendapatkan masukan secara lebih komprehensif:

  • Wikipedia bahasa Inggris
  • Wikipedia bahasa Prancis
  • Wikipedia bahasa Mandarin
  • Wikipedia bahasa Spanyol

Kami berencana untuk mengundang komunitas lainnya dalam beberapa waktu ke depan.

  • Wikipedia bahasa Inggris
  • Wikipedia bahasa Prancis
  • Wikipedia bahasa Tionghoa
  • Wikipedia bahasa Spanyol

Meskipun kami sedang berfokus kepada beberapa komunitas dan sistem operasi tertentu, tetapi kami sangat menginginkan masukan dari semua kontributor di semua proyek Wikimedia ketika melakukan patroli.

Dengan melakukan hal tersebut, kami harapkan dapat membuat perkakas yang bermanfaat bagi kontributor dalam melakukan patroli. Masukan dari Anda sudah pasti akan membantu kami dalam mewudjudkannya.