Perkakas Moderasi/Moderasi secara otomatis
|
Automoderator
|
Saat ini kami dari tim Moderator Tools sedang mengerjakan proyek moderasi otomatis yang akan berlaku di proyek Wikimedia. Perkakas ini memungkinkan kontributor untuk melakukan patroli suntingan secara otomatis dengan menggunakan model pembelajaran mesin (machine learning). Sederhananya, kami ingin membuat perkakas yang memiliki fungsi mirip dengan beberapa bot seperti ClueBot NG, SeroBOT, Dexbot, Salebot, $2, dan $3. Tidak seperti bot tersebut yang hanya tersedia di Wikipedia bahasa Inggris, perkakas ini nantinya akan tersedia di seluruh proyek Wikimedia. A MediaWiki extension is now under development - Extension:AutoModerator.
Kami berpendapat bahwa apabila kegiatan patroli untuk mencegah dan/atau memberantas vandalisme dilakukan secara otomatis, maka kontributor dapat memiliki waktu leluasa lebih banyak untuk melakukan hal lainnya.
Mulai pertengahan hingga akhir tahun 2023, kami akan mencoba untuk merancang ide ini. Pada tahun 2024, pengembangan perkakas direncanakan untuk dimulai.
Pembaruan terbaru (Februari 2024): Desain telah diposting untuk versi awal halaman arahan dan konfigurasi. Pikiran dan saran diterima!
Edisi sebelumnya
- Februari 2024: Kami telah memposting hasil awal dari proses pengujian kami.
- Oktober 2023: We are looking for input and feedback on our measurement plan, to decide what data we should use to evaluate the success of this project, and have made testing data available to collect input on Automoderator's decision-making.
- Agustus 2023: We recently presented this project, and other moderator-focused projects, at Wikimania. Anda dapat menemukan rekaman sesi di sini.
Latar belakang
Sejumlah besar suntingan dibuat untuk proyek Wikimedia yang harus secara jelas dihapus, mengembalikan halaman kembali ke keadaan sebelumnya. Kontributor yang melakukan patroli maupun pengurus menghabiskan sebagian besar waktunya untuk memeriksa dan mengembalikan suntingan tersebut secara manual. Sayangnya jumlah kontributor aktif tidak sebanding dengan banyaknya suntingan masuk yang mengakibatkan beban kerja mereka semakin banyak. Maka dari itu, kami berinisiatif untuk sebisa mungkin mengurangi beban mereka agar bisa melakukan hal lainnya.
Beberapa situs lainnya seperti Reddit, Twitch, dan Discord menyediakan fitur moderasi secara otomatis. Fitur tersebut dikelola oleh komunitas untuk menentukan seberapa ketat penyaringan yang diperlukan dengan menggunakan model algoritme secara otomatis. Sementara itu, Wikipedia memiliki fitur filter penyalahgunaan yang dapat memberikan keleluasaan dalam menentukan filter penyaringan penyuntingan. Namun, perlu diakui bahwa fitur tersebut tidak mudah untuk digunakan oleh semua kontributor. Alasannya adalah filter penyalahgunaan hanya bisa diatur oleh kontributor yang memahami regular expression (regex). Fitur tersebut sangat sulit untuk digunakan oleh sebagian besar kontributor dan berisiko menyebabkan gangguan. Setidaknya beberapa komunitas memiliki akun bot yang bertugas untuk memberantas vandalisme, tetapi akun ini hanya beroperasi secara lokal dan dibutuhkan kontributor yang mumpuni dalam mengatur akun bot agar bekerja sesuai dengan keinginan. Akun bot tersebut umumnya menggunakan model ORES yang notabene tidak digunakan dalam jangka waktu lama dan keterbatasan dukungan bahasa.
Misi
- Mengurangi beban kontributor dalam melakukan patroli suntingan yang bersifat merusak.
- Meyakinkan kontributor bahwa perkakas ini dapat membantu melakukan patroli secara berkelanjutan.
- Memastikan bahwa kontributor dapat menangani kesalahan pemeriksaan (false positive) yang dibuat oleh perkakas ini.
- Apakah ada misi lain yang perlu kami capai?
Design research
We delved into a comprehensive design research process to establish a strong foundation for the configuration tool for Automoderator. At the core of our approach is the formulation of essential design principles for shaping an intuitive and user-friendly configuration interface.
We looked at existing technologies and best practices and this process is known as desk research. This allowed us to gain valuable insights into current trends, potential pitfalls, and successful models within the realm of automated content moderation. We prioritized understanding the ethical implications of human-machine learning interaction, and focused on responsible design practices to ensure a positive and understandable user experience. We honed in on design principles that prioritize transparency, user empowerment, and ethical considerations.
Pendekatan
Proyek ini akan menggunakan pendekatan model risiko pengembalian yang dibuat oleh Tim Penelitian Wikimedia Foundation. Terdapat dua pendekatan yang akan digunakan dalam fitur ini:
- A multilingual model, with support for 47 languages.
- A language-agnostic model.
These models can calculate a score for every revision denoting the likelihood that the edit should be reverted. We envision providing communities with a way to set a threshold for this score, above which edits would be automatically prevented or reverted.
Saat ini pendekatan tersebut hanya dapat didukung di Wikipedia dan Wikidata, tetapi ke depannya akan diberlakukan di seluruh proyek Wikimedia. Selain itu, pendekatan tersebut hanya diuji coba di ruang nama artikel. Once deployed, we could re-train the model on an ongoing basis as false positives are reported by the community.
Before moving forward with this project we would like to provide opportunities for testing out the model against recent edits, so that patrollers can understand how accurate the model is and whether they feel confident using it in the way we're proposing.
- Apakah Anda memiliki permasalahan dengan pendekatan ini?
- Seberapa banyak batas jumlah pengembalian dari kesalahan pemeriksaan yang sesuai dengan komunitas Anda?
Desain dan cara kerja
Kami membayangkan sebuah perkakas yang dapat dikonfigurasi sesuai dengan kriteria yang berlaku dalam komunitas untuk mencegah atau mengembalikan suntingan vandal secara otomatis. Sejauh ini metode pengembalian suntingan lebih masuk akal, karena metode pencegahan suntingan membutuhkan waktu yang lama bagi perkakas dalam memprosesnya. Selain itu, hal ini dapat mengurangi terjadinya kesalahan pemeriksaan yang pada akhirnya dapat meringankan kami dan kontributor. Kontributor harus memiliki keleluasaan dalam mengatur fitur ini aktif atau tidak, serta mengatur seberapa ketat fitur ini bekerja dalam mengawasi suntingan masuk.
Apabila diatur dalam tingkatan terendah maka akan banyak suntingan yang dikembalikan, tetapi tingkat kesalahan pemeriksaan akan tinggi. Namun, apabila diatur dalam tingkatan tertinggi maka akan sedikit suntingan yang dikembalikan, tetapi tingkat kesalahan pemeriksaannya rendah.
While the exact form of this project is still being explored, the following are some feature ideas we are considering, beyond the basics of preventing or reverting edits which meeting a revert risk threshold.
Sarana uji coba
Apabila komunitas ingin memiliki opsi untuk mengatur seberapa ketat fitur ini bekerja, maka kami perlu menyediakan sarana untuk menguji coba pengaturan tersebut. Hal ini kurang lebih sama dengan cara kerja dari fitur Filter penyalahgunaan, yaitu ketika suntingan masuk diuji coba dengan filter yang ada untuk dicocokkan dan dilakukan tindakan apabila memenuhi kriteria.
- Seberapa penting sarana uji coba ini untuk Anda? Apakah ada fitur serupa yang pernah Anda jumpai dan merasa sangat berguna untuk Anda?
Pengaturan yang disesuaikan dengan kebutuhan komunitas
Aspek terpenting dari proyek ini adalah memberikan keleluasaan bagi kontributor untuk mengatur perkakas yang sesuai dengan kebutuhan komunitas. Tidak hanya sebatas mengembalikan suntingan yang memenuhi kritera, misalnya kontributor dapat mengatur perkakas ini untuk tidak dapat bekerja terhadap kontributor dengan status tertentu atau tidak melakukan pemeriksaan terhadap beberapa halaman tertentu.
- Pengaturan seperti apa yang dibutuhkan oleh Anda sebelum menggunakan fitur ini?
Pelaporan kesalahan pemeriksaan
Kami menyadari bahwa model pembelajaran mesin tidaklah sempurna dan sangat memungkinkan terjadinya kesalahan pemeriksaan (false positive). Setidaknya ada dua hal yang harus kami perhatikan, yaitu kontributor dapat menandai suatu suntingan yang terkena kesalahan pemeriksaan, serta dapat memberikan masukan terhadap model pembelajaran mesin yang ada di perkakas ini secara berkelanjutan.
Perkakas ini sangat sensitif terhadap suntingan yang dibuat oleh kontributor baru dan tidak masuk log, karena pada umumnya vandalisme datang dari kedua kategori kontributor tersebut. Kami tidak ingin perkakas ini dapat menghalangi niat baik untuk dari pengguna baru, maka dari itu kami ingin membuat semacam cara agar mereka dapat berkontribusi dengan nyaman. Terlepas dari semua itu, hal ini juga harus diimbangi dengan membatasi akses dari pelaku vandal dalam mengakses perkakas ini.
Meski perkakas ini sudah dilatih dengan memberikan banyak masukan dari beragam model penyuntingan yang ada, kesalahan pemeriksaan yang terjadi dapat menjadi sarana agar perkakas semakin bekerja lebih baik. Maka dari itu, kami perlu memikirkan bagaimana tata cara pelaporan kesalahan pemeriksaan agar memudahkan kontributor dalam melaporkan dan kami dalam mengembangkan perkakas ini.
- Bagaimana cara kami memberikan informasi kepada kontributor perihal kesalahan pemeriksaan sehingga suntingan yang seharusnya bukan vandal malah dikembalikan?
- Apakah ada hal yang Anda khawatirkan perihal kesalahan pemeriksaan ini?
Designs
Our current plans for Automoderator have two UI components:
-
Landing page.
A landing page with information about Automoderator, a way to appeal the bot’s decisions, and a link to configure the bot.
-
Configuration page. -
Making changes to the configuration page. -
Saving changes to the configuration page.
The configuration page, which will be generated by Community Configuration. In the MVP, admins will be able to turn Automoderator on or off, configure its threshold (i.e. how it should behave), and customize its default edit summary and username. We anticipate that we'll add more configuration options over time in response to feedback. Once the page is saved, if the user has turned Automoderator on, it will start running immediately.
Pertanyaan terbuka lainnya
- Apabila komunitas Anda memiliki akun bot yang dikelola secara mandiri, dapatkah Anda menceritakan bagaimana pengalamannya menggunakan bot tersebut? Apa yang Anda rasakan apabila bot tersebut tidak bekerja secara normal?
- Menurut Anda, apakah fitur ini bermanfaat bagi komunitas Anda? Bagaimana cara Anda menyesuaikan alur kerja maupun peralatan lainnya yang sudah ada?
- Apakah ada hal lainnya yang perlu kami perhatikan dan/atau pertimbangkan?