Moderator Tools/Automoderator/id

Saat ini kami dari tim sedang mengerjakan proyek moderasi otomatis yang akan berlaku di proyek Wikimedia. Perkakas ini memungkinkan kontributor untuk melakukan patroli suntingan secara otomatis dengan menggunakan model pembelajaran mesin (machine learning). Sederhananya, kami ingin membuat perkakas yang memiliki fungsi mirip dengan beberapa bot seperti ClueBot NG, SeroBOT, dan Dexbot. Tidak seperti bot tersebut yang hanya tersedia di Wikipedia bahasa Inggris, perkakas ini nantinya akan tersedia di seluruh proyek Wikimedia.

Kami berpendapat bahwa apabila kegiatan patroli untuk mencegah dan/atau memberantas vandalisme dilakukan secara otomatis, maka kontributor dapat memiliki waktu leluasa lebih banyak untuk melakukan hal lainnya.

Mulai pertengahan hingga akhir tahun 2023, kami akan mencoba untuk merancang ide ini. Pada tahun 2024, pengembangan perkakas direncanakan untuk dimulai.

 Latest update (October 2023):  We are looking for input and feedback on our measurement plan, to decide what data we should use to evaluate the success of this project, and have made testing data available to collect input on Automoderator's decision-making.

Previous updates

 * : We recently presented this project, and other moderator-focused projects, at Wikimania. You can find the session recording here.

Latar belakang
Sebagian suntingan yang ada di proyek Wikimedia merupakan suntingan bersifat merusak (vandalisme) dan hal ini harus segera ditangani. Kontributor yang melakukan patroli maupun pengurus menghabiskan sebagian besar waktunya untuk memeriksa dan mengembalikan suntingan tersebut secara manual. Sayangnya jumlah kontributor aktif tidak sebanding dengan banyaknya suntingan masuk yang mengakibatkan beban kerja mereka semakin banyak. Maka dari itu, kami berinisiatif untuk sebisa mungkin mengurangi beban mereka agar bisa melakukan hal lainnya.

Beberapa situs lainnya seperti Reddit, Twitch, dan Discord menyediakan fitur moderasi secara otomatis. Fitur tersebut dikelola oleh komunitas untuk menentukan seberapa ketat penyaringan yang diperlukan dengan menggunakan model algoritme secara otomatis. Sementara itu, Wikipedia memiliki fitur filter penyalahgunaan yang dapat memberikan keleluasaan dalam menentukan filter penyaringan penyuntingan. Namun, perlu diakui bahwa fitur tersebut tidak mudah untuk digunakan oleh semua kontributor. Alasannya adalah filter penyalahgunaan hanya bisa diatur oleh kontributor yang memahami regular expression (regex). Fitur tersebut sangat sulit untuk digunakan oleh sebagian besar kontributor dan berisiko menyebabkan gangguan. Setidaknya beberapa komunitas memiliki akun bot yang bertugas untuk memberantas vandalisme, tetapi akun ini hanya beroperasi secara lokal dan dibutuhkan kontributor yang mumpuni dalam mengatur akun bot agar bekerja sesuai dengan keinginan. Akun bot tersebut umumnya menggunakan model ORES yang notabene tidak digunakan dalam jangka waktu lama dan keterbatasan dukungan bahasa.

Misi

 * Mengurangi beban kontributor dalam melakukan patroli suntingan yang bersifat merusak.
 * Meyakinkan kontributor bahwa perkakas ini dapat membantu melakukan patroli secara berkelanjutan.
 * Memastikan bahwa kontributor dapat menangani kesalahan pemeriksaan (false positive) yang dibuat oleh perkakas ini.


 * Apakah ada misi lain yang perlu kami capai?

Pendekatan
Proyek ini akan menggunakan pendekatan model risiko pengembalian yang dibuat oleh Tim Penelitian Wikimedia Foundation. Terdapat dua pendekatan yang akan digunakan dalam fitur ini:


 * 1) A multilingual model, with support for 47 languages.
 * 2) A language-agnostic model.

These models can calculate a score for every revision denoting the likelihood that the edit should be reverted. We envision providing communities with a way to set a threshold for this score, above which edits would be automatically prevented or reverted.

Saat ini pendekatan tersebut hanya dapat didukung di Wikipedia dan Wikidata, tetapi ke depannya akan diberlakukan di seluruh proyek Wikimedia. Selain itu, pendekatan tersebut hanya diuji coba di ruang nama artikel. Once deployed, we could re-train the model on an ongoing basis as false positives are reported by the community.

Before moving forward with this project we would like to provide opportunities for testing out the model against recent edits, so that patrollers can understand how accurate the model is and whether they feel confident using it in the way we're proposing.


 * Apakah Anda memiliki permasalahan dengan pendekatan ini?
 * Seberapa banyak batas jumlah pengembalian dari kesalahan pemeriksaan yang sesuai dengan komunitas Anda?



Desain dan cara kerja
Kami membayangkan sebuah perkakas yang dapat dikonfigurasi sesuai dengan kriteria yang berlaku dalam komunitas untuk mencegah atau mengembalikan suntingan vandal secara otomatis. Sejauh ini metode pengembalian suntingan lebih masuk akal, karena metode pencegahan suntingan membutuhkan waktu yang lama bagi perkakas dalam memprosesnya. Selain itu, hal ini dapat mengurangi terjadinya kesalahan pemeriksaan yang pada akhirnya dapat meringankan kami dan kontributor. Kontributor harus memiliki keleluasaan dalam mengatur fitur ini aktif atau tidak, serta mengatur seberapa ketat fitur ini bekerja dalam mengawasi suntingan masuk.

Apabila diatur dalam tingkatan terendah maka akan banyak suntingan yang dikembalikan, tetapi tingkat kesalahan pemeriksaan akan tinggi. Namun, apabila diatur dalam tingkatan tertinggi maka akan sedikit suntingan yang dikembalikan, tetapi tingkat kesalahan pemeriksaannya rendah.

While the exact form of this project is still being explored, the following are some feature ideas we are considering, beyond the basics of preventing or reverting edits which meeting a revert risk threshold.

Sarana uji coba
Apabila komunitas ingin memiliki opsi untuk mengatur seberapa ketat fitur ini bekerja, maka kami perlu menyediakan sarana untuk menguji coba pengaturan tersebut. Hal ini kurang lebih sama dengan cara kerja dari fitur Filter penyalahgunaan, yaitu ketika suntingan masuk diuji coba dengan filter yang ada untuk dicocokkan dan dilakukan tindakan apabila memenuhi kriteria.


 * Seberapa penting sarana uji coba ini untuk Anda? Apakah ada fitur serupa yang pernah Anda jumpai dan merasa sangat berguna untuk Anda?



Pengaturan yang disesuaikan dengan kebutuhan komunitas
Aspek terpenting dari proyek ini adalah memberikan keleluasaan bagi kontributor untuk mengatur perkakas yang sesuai dengan kebutuhan komunitas. Tidak hanya sebatas mengembalikan suntingan yang memenuhi kritera, misalnya kontributor dapat mengatur perkakas ini untuk tidak dapat bekerja terhadap kontributor dengan status tertentu atau tidak melakukan pemeriksaan terhadap beberapa halaman tertentu.


 * Pengaturan seperti apa yang dibutuhkan oleh Anda sebelum menggunakan fitur ini?
 * Menurut Anda, siapa yang berhak untuk melakukan konfigurasi sistem dari fitur ini?
 * Menurut Anda, perlukah Steward memiliki hak untuk melakukan konfigurasi bagi situs wiki kecil?



Pelaporan kesalahan pemeriksaan
Kami menyadari bahwa model pembelajaran mesin tidaklah sempurna dan sangat memungkinkan terjadinya kesalahan pemeriksaan (false positive). Setidaknya ada dua hal yang harus kami perhatikan, yaitu kontributor dapat menandai suatu suntingan yang terkena kesalahan pemeriksaan, serta dapat memberikan masukan terhadap model pembelajaran mesin yang ada di perkakas ini secara berkelanjutan.

Perkakas ini sangat sensitif terhadap suntingan yang dibuat oleh kontributor baru dan tidak masuk log, karena pada umumnya vandalisme datang dari kedua kategori kontributor tersebut. Kami tidak ingin perkakas ini dapat menghalangi niat baik untuk dari pengguna baru, maka dari itu kami ingin membuat semacam cara agar mereka dapat berkontribusi dengan nyaman. Terlepas dari semua itu, hal ini juga harus diimbangi dengan membatasi akses dari pelaku vandal dalam mengakses perkakas ini.

Meski perkakas ini sudah dilatih dengan memberikan banyak masukan dari beragam model penyuntingan yang ada, kesalahan pemeriksaan yang terjadi dapat menjadi sarana agar perkakas semakin bekerja lebih baik. Maka dari itu, kami perlu memikirkan bagaimana tata cara pelaporan kesalahan pemeriksaan agar memudahkan kontributor dalam melaporkan dan kami dalam mengembangkan perkakas ini.


 * Bagaimana cara kami memberikan informasi kepada kontributor perihal kesalahan pemeriksaan sehingga suntingan yang seharusnya bukan vandal malah dikembalikan?
 * Apakah ada hal yang Anda khawatirkan perihal kesalahan pemeriksaan ini?



Pertanyaan terbuka lainnya

 * Apabila komunitas Anda memiliki akun bot yang dikelola secara mandiri, dapatkah Anda menceritakan bagaimana pengalamannya menggunakan bot tersebut? Apa yang Anda rasakan apabila bot tersebut tidak bekerja secara normal?
 * Menurut Anda, apakah fitur ini bermanfaat bagi komunitas Anda? Bagaimana cara Anda menyesuaikan alur kerja maupun peralatan lainnya yang sudah ada?
 * Data seperti apa yang dapat kami gunakan (dari fitur ini) untuk kami olah sebagai tolok ukur keberhasilan penerapan fitur ini?
 * Apakah ada hal lainnya yang perlu kami perhatikan dan/atau pertimbangkan?