Peningkatan Tinjauan Suntingan

Kelompok:	Collaboration
Dimulai:	2016-07-05
Berakhir:	2017
Anggota tim:	Development team - Stephane Bisson, Benoît Evellin, Matthew Flaschen, Pau Giner, Roan Kattouw, Joe Matazzoni, Moriel Schottlender, Elena Tonkovidova, Nick Wilson, Aaron Halfaker
Pengelolaan:	Joe Matazzoni (product manager), Roan Kattouw (engineering manager)

This page is a translated version of the page Edit Review Improvements and the translation is 100% complete.

Peningkatan Tinjauan Suntingan adalah proyek dari Tim Kolaborasi, yang meneliti cara untuk mengurangi dampak negatif yang dapat ditimbulkan oleh proses peninjauan suntingan saat ini terhadap penyunting baru di wiki. Sebagian besar alat peninjauan suntingan dan pematrolian dirancang untuk menjaga mutu konten dan menangkal pelaku jahat—keduanya merupakan misi yang sangat penting. Namun, sejumlah penelitian menunjukkan bahwa proses-proses ini, terutama jika melibatkan alat otomatis atau semi-otomatis, dapat menimbulkan konsekuensi yang tak diinginkan, yaitu mengecilkan hati dan bahkan mengusir penyunting baru yang berniat baik.

Untuk mengatasi masalah ini, Tim Kolaborasi sedang menyelidiki cara untuk memisahkan pengguna baru yang berniat baik dari alur kerja peninjauan suntingan yang ada dan, pada akhirnya, untuk menyediakan proses peninjauan yang mendukung yang membantu pengguna baru menjadi kontributor yang produktif.

Proyek ini menghasilkan penerapan serangkaian penyaring baru pada Perubahan Terbaru dan Daftar Pantauan pada tahun 2017.

Masalah

Penelitian menunjukkan bahwa khususnya bagi penyunting wiki baru, "terkena pengembalian suntingan akan menyebabkan penurunan keaktifan dan pengurangan kemungkinan bertahan" sebagai penyunting.^[1]
Pada saat yang sama, meningkatnya penggunaan alat peninjauan suntingan otomatis dan semi-otomatis telah menyebabkan peningkatan penolakan terhadap pendatang baru yang berniat baik. Penggunaan alat-alat ini “secara signifikan meningkatkan dampak negatif penolakan terhadap pemertahanan pendatang baru yang diinginkan.”^[2]
Walau demikian, alat peninjauan suntingan sangat penting bagi para penumpas vandalisme dan pihak lain yang berupaya menjaga kepaduan dan mutu wiki. Bagaimana kita dapat membantu dan mempertahankan pengguna baru sambil menjaga keproduktifan para penumpas vandalisme dan peninjau suntingan lainnya?

Tujuan

Pastikan penyunting baru yang berniat baik punya pengalaman penyuntingan dan peninjauan artikel yang lebih membangun dan tidak terlalu mengecewakan.
Dengan menyediakan data yang lebih kaya tentang perubahan terkini, memungkinkan para pematroli dan peninjau suntingan dari semua jenis untuk bekerja lebih tepat guna dan mengejar berbagai kepentingan (misalnya, menumpas vandalisme, mendukung pengguna baru) dengan cara yang lebih ampuh dan terarah.

Pada akhirnya, proyek ini bertujuan untuk memberikan dampak pada pemertahanan penyunting, sebuah tujuan yang selaras dengan tujuan keseluruhan dari Rencana Tahunan Yayasan Wikimedia 2016-17, yang dikembangkan melalui konsultasi erat dengan komunitas pengguna.

Pendekatan ini khususnya sejalan dengan tujuan yang dijabarkan dalam Rencana Tahunan untuk Tim Produk, yang menjanjikan, antara lain, untuk “Berinvestasi dalam jenis konten baru…alat kurasi dan kolaborasi.”

Solusi

Untuk mulai mengatasi masalah pendatang baru yang berjuang namun berniat baik, langkah pertama yang baik adalah memastikan bahwa peninjau dapat menemui mereka. Untuk mewujudkan hal ini, kami mengusulkan untuk menganalisis perubahan terbaru menggunakan data dari berbagai sumber, termasuk dan terutama program pembelajaran mesin ORES (Objective Revision Evaluation Service). Model berniat baik ORES, yang dilatih berdasarkan penilaian manusia, dapat menemukan 95% suntingan berniat baik dengan ketelitian 98%. ORES juga dapat memprakirakan suntingan yang akan dikembalikan dan suntingan yang merusak wiki.

Meskipun penelitian menunjukkan bahwa penyunting baru sangat rentan terhadap penolakan, ada juga bukti bahwa proses penyuntingan dan peninjauan, bahkan penolakan, dapat menjadi pengalaman belajar yang berharga bagi pendatang baru. ^[3] Bagi para peninjau yang berminat untuk mendukung pengguna baru, serangkaian suntingan yang a) kemungkinan akan dikembalikan tetapi b) dibuat dengan niat baik, kami harap akan menjadi seuntai momen yang dapat diajarkan.

Analisis suntingan yang dijelaskan di atas awalnya akan tersedia bagi pengguna dalam dua cara^[4]:

Di halaman Special:Recent Changes, di mana serangkaian penyaring baru akan disediakan sebagai fitur beta (baca deskripsi penyaring baru yang direncanakan untuk peninjauan suningan)
Dalam umpan terbaca mesin baru yang disebut ReviewStream (Deskripsi Produk ReviewStream), dirancang untuk diserap oleh alat peninjauan suntingan hilir.

Kegiatan saat ini

Untuk memvisualisasikan kemungkinan arah produk, Tim Kolaborasi sedang menjelajahi konsep rancangan sambil terus meneliti masalah-masalah tersebut.
Untuk mengukur besarnya masalah dengan lebih baik dan dapat melacak kemajuan, kami sedang berupaya untuk menakrif dan mengukur pemertahanan penyunting baru.
Penelitian Rancangan sedang menyelenggarakan dan melakukan wawancara dengan pengguna yang terdampak oleh masalah ini dalam berbagai cara, untuk lebih memahami motivasi dan alur kerja mereka. Kelompok-kelompok yang akan diwawancarai dalam waktu dekat meliputi: pematroli anti-vandalisme, pematroli perubahan terkini, pengelola Warung Kopi, anggota Panitia Penyambutan, dan peninjau artikel untuk pembuatan (AfC).
Tim Penelitian dan Data sedang berupaya memperbagus prakiraan dengan menyempurnakan ketelitian model prakiraan.
Ada perbincangan tentang proyek ini di Wikimania 2016, pada bulan Juni.

Memperbagus penyaringan di halaman Perubahan Terbaru

Informasi lebih lanjut

Untuk membantu para peninjau menemukan kontribusi yang mereka cari dengan mudah, kami berencana untuk meningkatkan cara kerja penyaringan pada halaman Special:Recent Changes. Tujuannya adalah untuk membuat daftar kontribusi mudah disaring, memungkinkan lebih banyak kriteria penyaring (terutama yang bersangkutan untuk membantu pendatang baru) dan memfasilitasi penggabungan beberapa penyaring untuk tujuan yang berbeda.

Purwarupa interaktif ini mengilustrasikan konsep penyaringan yang diusulkan. Untuk konteks tambahan, Anda dapat memeriksa skenario yang didukung.

Sebelum mencapai tahap tersebut, ini akan dilakukan dalam beberapa langkah di dalam fitur beta. Rincian selengkapnya di bawah.

Langkah Awal

Awalnya, ruang nama dan tanda tidak akan dipadukan ke dalam sistem penyaringan. Penyaring yang terkait dengan ORES akan didukung. Penyaring-penyaring ini meliputi:

Peninjauan. Penyaring yang memungkinkan peninjau untuk fokus pada kontribusi yang belum ditinjau, atau yang sudah diolah oleh peninjau lain.
Mutu kontribusi. Penyaring yang memungkinkan untuk mengidentifikasi kontribusi yang baik atau merugikan.
Niat pengguna. Penyaring yang memungkinkan untuk mengidentifikasi kontribusi yang dibuat dengan niat baik atau buruk.
Tingkat pengalaman pengguna. Penyaring yang memungkinkan untuk menargetkan suntingan tergantung pada keahlian pengarangnya.

Titik masuk utama untuk menyaring perubahan terbaru.
Penyaring dapat dipilih dengan mengetik (pelengkapan otomatis) atau dengan menjelajahi daftar penyaring yang tersusun.
Penyaring, dipilih maupun tidak, dapat menggunakan warna sorotan untuk mempermudah penggabungan beberapa kriteria.
Penyaring ditampilkan sebagai bagian dari bilah pencarian untuk menunjukkan properti dari kontribusi yang tercantum.

Rencana mendatang

Menciptakan alir/halaman "momen pembelajaran" seperti yang dijelaskan di atas berpotensi menjadikan proses penyuntingan dan peninjauan sebagai ruang baru untuk membimbing dan mendukung penyunting baru.

Namun, keberadaan anjungan demikian saja tak akan menjamin bahwa praktik baru ini akan berakar. Untuk benar-benar memberikan dampak pada pemertahanan pendatang baru, campur tangan mungkin diperlukan di beberapa titik dalam daur penyuntingan dan peninjauan: sebelum penerbitan, untuk mengidentifikasi masalah dan memungkinkan pengarang untuk mencari bantuan; selama peninjauan, untuk memfasilitasi proses yang membangun; dan bahkan setelah peninjauan, untuk membantu pengguna baru mengatasi penolakan dan belajar dari pengalaman mereka.

Selain menjajaki gagasan-gagasan untuk melakukan campur tangan di berbagai titik, kami juga berupaya mencari jawaban atas pertanyaan-pertanyaan seperti ini:

Bagaimana kita bisa mengajak para peninjau untuk ikut serta dalam kegiatan baru ini?
Apa yang akan membuat para peninjau paling ampuh dalam pekerjaan mendukung pendatang baru selama proses peninjauan suntingan?
Bagaimana kita bisa membuat proses ini bermanfaat bagi para peninjau, sehingga mereka tetap terlibat?

Komunitas penangkal vandalisme juga memiliki peran penting dalam bidang ini. Data yang lebih kaya tentang suntingan dan penyunting seharusnya membuat pematroli dari semua jenis tidak hanya lebih berhati-hati dalam membedakan suntingan mana yang mungkin dilakukan dengan niat baik, tetapi juga lebih tepat guna dalam pekerjaan mereka menumpas tindakan yang merugikan. Penting untuk bekerja sama secara erat dengan para penumpas vandalisme dan pihak lain untuk memahami bagaimana proses dan alat mereka dapat diadaptasi sebaik-baiknya guna mewujudkan potensi keuntungan ini.

Prinsip

Begitu kita menjalankan proyek ini, prinsip-prinsip berikut akan memandu perencanaan kami.

Cerdas tetapi manusiawi. Gunakan teknologi untuk mendukung, bukan menggantikan interaksi manusia. Kecerdasan buatan dapat memberikan analisis, tetapi manusia tetap harus mengambil keputusan.
Lintas komunitas. Temukan solusi yang dapat diterapkan di berbagai kelompok bahasa dan proyek, daripada membangun alat khusus wiki.
Anjungan, bukan fitur. Carilah solusi yang dapat diperluas dan digunakan kembali oleh alat-alat yang dibuat oleh komunitas dan Yayasan Wikimedia saat ini dan di masa mendatang.
Seluler. Meskipun peninjauan suntingan saat ini belum populer di perangkat seluler, kami tetap mempertimbangkan pengguna seluler dalam rencana kami.
Adopsi. Selain menciptakan teknologi baru, fokuslah pada upaya untuk mendorong para peninjau agar mengadopsi dan terus menggunakan alat-alat baru tersebut.
Pemaduan. Dalam mencari solusi baru, bangun dan padukan dengan praktik yang sudah ada sedapat mungkin.
Pendekatan bertahap. Bagitu kita memasuki area baru ini, lanjutkan secara bertahap ke setiap tonggak penting dan kemudian evaluasi ke mana harus melangkah selanjutnya.
Rancangan keikutsertaan. Berkolaborasi dengan penyunting dan pengembang perangkat lunak yang sudah bekerja di bidang ini.

Dokumen terkait

↑ Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Jangan gigit pemula: bagaimana pengembalian memengaruhi kuantitas dan mutu pekerjaan Wikipedia. Dalam Prosiding simposium internasional ke-7 tentang wiki dan kolaborasi terbuka (hlm. 163-172). ACM.
↑ “Beberapa perubahan yang dilakukan komunitas Wikipedia untuk mengelola mutu... ironisnya justru melumpuhkan pertumbuhan yang seharusnya mereka kelola. Khusus... alat-alat algoritmik yang digunakan untuk menolak kontribusi dianggap sebagai penyebab utama penurunan pemertahanan pendatang baru.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). Kebangkitan dan kemunduran sistem kolaborasi terbuka: Bagaimana reaksi Wikipedia terhadap kepopuleran menyebabkan kemundurannya Ilmuwan Perilaku Amerika, 0002764212469365.
↑ “Kami menemukan bahwa pendatang baru cenderung mengurangi kontribusi mereka setelah terkena pengembalian suntingan. Kami juga melihat beberapa bukti bahwa mereka dapat belajar paling banyak dari pengalaman pengembalian suntingan. Pendatang baru harus dijangkau secara giat untuk membantu mereka berpadu ke dalam Wikipedia.” Halfaker, A., Kittur, A., & Riedl, J. Jangan gigit pemula: bagaimana pengembalian memengaruhi kuantitas dan mutu pekerjaan Wikipedia.
↑ Tujuan Tim Kolaborasi Triwulan Kedua Tahun Fiskal 2016-17

[1] Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Jangan gigit pemula: bagaimana pengembalian memengaruhi kuantitas dan mutu pekerjaan Wikipedia. Dalam Prosiding simposium internasional ke-7 tentang wiki dan kolaborasi terbuka (hlm. 163-172). ACM.

[2] “Beberapa perubahan yang dilakukan komunitas Wikipedia untuk mengelola mutu... ironisnya justru melumpuhkan pertumbuhan yang seharusnya mereka kelola. Khusus... alat-alat algoritmik yang digunakan untuk menolak kontribusi dianggap sebagai penyebab utama penurunan pemertahanan pendatang baru.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). Kebangkitan dan kemunduran sistem kolaborasi terbuka: Bagaimana reaksi Wikipedia terhadap kepopuleran menyebabkan kemundurannya Ilmuwan Perilaku Amerika, 0002764212469365.

[3] “Kami menemukan bahwa pendatang baru cenderung mengurangi kontribusi mereka setelah terkena pengembalian suntingan. Kami juga melihat beberapa bukti bahwa mereka dapat belajar paling banyak dari pengalaman pengembalian suntingan. Pendatang baru harus dijangkau secara giat untuk membantu mereka berpadu ke dalam Wikipedia.” Halfaker, A., Kittur, A., & Riedl, J. Jangan gigit pemula: bagaimana pengembalian memengaruhi kuantitas dan mutu pekerjaan Wikipedia.

[4] Tujuan Tim Kolaborasi Triwulan Kedua Tahun Fiskal 2016-17

[1]

[2]

[3]

[4]