Wikimedia Apps/Ekip/Android/Makine Destekli Madde Açıklamaları

Project Background

Experiment Background

Updates

Gratitude to Volunteers

Projenin arkaplanı

Vikipedi Android uygulaması, kısa açıklamalar eklemek için 2017'den beri bazı yollar sundu. Ekip 2019'da, uygulamada oturum açan kullanıcılar için bir kısa açıklama ekleme aracı yayınladı. "Kısa Açıklamalar eklemek için Önerilen Düzenlemeler" aracının mevcut durumu hakkında daha fazla bilgiyi burada okuyabilirsiniz.

İngilizce Vikipedi kullanıcılarından alınan, kullanıcıların -özellikle de yeni kullanıcıların - maddelerin kısa açıklamalarının kalitesini yükseltme arzusuna ilişkin geri bildirimlerin bir sonucu olarak, Android ekibi Mart 2022'de editörlerin kısa açıklamaları düzenlemelerine uygun olabilecek bir kapı oluşturdu.

Mayıs 2022'de, EPFL olarak da bilinen İsviçre Enstitüsü'nün Araştırma kolu, Vikipedi maddeleri için kısa açıklamalar önermek üzere Descartes adlı bir makine modeli oluşturdu. EPFL, Descartes modelini bağımsız olarak test ettikten sonra Wikimedia Vakfı'na ulaşarak, maddelerin kısa açıklamalarının oluşturulmasında editörlere yardımcı olması için modeli Vikipedi kullanıcılarına sundu. Android ekibi, özellikle yeni editörlerden gelen, kısa açıklamaların kalitesini artırma taleplerini göz önünde bulundurarak; Descartes aracının Vikipedistlerle de EPFL'nin ilk testindeki gibi umut verici sonuçlar vermesi durumunda, kullanıcıları desteklemek için Descartes modelini kullanarak makine önerileri sunabileceğine karar verdi. After testing the Descartes model independently, EPFL reached out to the Wikimedia Foundation offering the model to Wikipedians to aid editors in the creation of article short descriptions. With consideration of requests to improve the quality of short descriptions, especially from new editors, the Android team determined that it could offer machine suggestions using the Descartes model to support users, if and only if the Descartes tool yielded similar promising results with Wikipedians that it did in EPFL’s initial testing.

Ekip, Ocak 2023-Nisan 2023 döneminde bir yandan Descartes modelinde kullanıcı arayüzü ve istemci tarafı değişikliklerini oluştururken bir yandan risklere karşı korkuluklar (guardrails) yerleştirdi ve ardından Mayıs 2023 ortasından Haziran 2023 ortasına kadar modelin değişiklikler yapılmış bir sürümünü uyguladı. Kullanıcıların Android uygulamasında gördükleri model versiyonu, kalite kontrollerini de içeriyordu. Ayrıca, öneriler üzerine kullanıcıların makine önerilerini görüntülemek için aktif olarak tıklamaları ve ardından birinden yararlanmaya veya kısa açıklamalarını manuel olarak yazmaya karar vermeleri gereken bir kolaylığı sağlanmıştır. The version of the model users saw in the Android app included quality controls. Additionally, suggestions were concealed behind an affordance where users had to actively click to view machine suggestions then decide to leverage one or manually type out their short description.

Haziran ayı sonunda bu özellik uygulamadan kaldırılmıştır. Android ekibi, Haziran ortasından Temmuz sonuna kadar çeşitli dil topluluklarına ulaşarak onları deney süresince araç aracılığıyla yapılan düzenlemeler için puanlayıcı ve devriye olarak hizmet vermeye davet etti. Wiki üzerinden ve e-posta yoluyla destek çağrısına yanıt veren gönüllüler değerlendirici olarak deneye katıldılar. Deneyimli editörler, uygulama editörlerinin deney süresi boyunca yayınladıklarını, insan eliyle oluşturulan kısa açıklamalar ve makine tarafından yapılan önerilerle birlikte değerlendirdi. Gönüllülerden hataları geri almaları istenmiştir. In Mid June thru the end of July, the Android team conducted outreach to various language communities inviting them to serve as graders and patrollers for the edits produced through the tool during the experiment duration. Volunteers that responded to the call for support via onwiki email participated in the experiment as evaluators. Experienced editors evaluated what app editors published during the experiment time with machine suggestions, in conjunction with human generated short descriptions. Volunteers were encouraged to revert errors. Volunteer grading ended in early August 2023.

Ekip, verilerin ilk incelemesinden sonra, Descartes modelini Cloud VPS'deki geçici bir alandan, kalıcı bir ana bilgisayar alanı olarak LiftWing'e taşımayı önermek için yeterli iç görüye sahip oldu. Ekibimizin veri analistinin, araştırma ekibimizin ve EPFL araştırma ekibinin daha derinlemesine veri analizinden sonra sonuçlara, ancak dil topluluklarından onay aldıktan ve editörleri daha yüksek kalitede kısa açıklamalar yazma konusunda destekleme amacıyla modeli geliştirmek için daha fazla değişiklik yapılıp yapılamayacağını anlamak üzere oturumlar düzenledikten sonra modelin değiştirilmiş bir versiyonunu insan editörlere öneri olarak uygulamada kalıcı olarak sunacak kadar güvendik. After more in-depth data analysis from our team’s data analyst, our research team and the EPFL research team, we felt confident enough in the results to offer the a modified version of the model permanently in the app as suggestions to human editors, only after approval from language communities and having sessions to understand if further changes could be made to improve the model to meet its intended purpose of supporting editors with writing higher quality short descriptions.

Mevcut durum

Ağustos 2024 itibariyle, deneyin sonuçlarını, modelin bulutta barındırılan sürümünde, uygulama tarafında kalite amacıyla hangi değişikliklerin yapıldığını yayınladık ve dil topluluğunun bu özelliği benimsemeyi düşünüp düşünmemesi gerektiğine dair öneriler sunduk. Eylül 2024'ten Kasım 2024'e kadar, Android ürün ekibini daha fazla nasıl iyileştirmeler yapılabilecekleri ve toplulukların bu özelliği benimsemek isteyip istemedikleri konusunda bilgilendirmek için çalışmalar yürüteceğiz. Verilere dayanarak bu özelliğin faydalı olup olmayacağına dair tavsiyelerde bulunsak da, uygulana kararı yalnızca dil topluluğu üyelerine aittir. Kısa açıklamaların dil toplulukları arasında farklı şekilde ele alındığının ve maddelerin kısa açıklamalara sahip olmasını sağlamaya yönelik adımların yıllar içinde evrildiğinin farkındayız, bu nedenle her toplululuğa ayrı ayrı ulaşma yaklaşımını benimsiyoruz. We will be conducting outreach in September 2024 through November 2024 to inform the Android product team of what further improvements can be made and if communities would like to adopt the feature. While we have recommendations of if the feature might be useful based on data, adoption is a decision left solely to language community members. We recognize short descriptions are handled differently across language communities and steps towards ensuring articles have short descriptions over the years have evolved, which is why we are taking a community by community outreach approach.