ORES

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page ORES and the translation is 100% complete.
Other languages:
Bahasa Indonesia • ‎English • ‎Esperanto • ‎Nederlands • ‎Türkçe • ‎español • ‎français • ‎galego • ‎português do Brasil • ‎čeština • ‎русский • ‎中文 • ‎日本語 • ‎한국어

ORES (/ɔɹz/)[1] tr:Makine öğrenimi makine öğrenimi hizmet olarak sağlayan Puanlama Platformu ekibi tarafından sağlanan Wikimedia projeleri için bir web hizmeti ve API'sidir. Sistem, kritik viki çalışmasını otomatikleştirmeye yardımcı olmak için tasarlanmıştır - örneğin, vandalizm algılama ve kaldırma. Şu anda, ORES'in ürettiği iki genel puan türü “düzenleme kalitesi” ve “makale kalitesi” bağlamındadır.

ORES bir arka uç hizmetidir ve puanları doğrudan kullanmanın bir yolunu sunmaz. ORES puanlarını kullanmak istiyorsanız, ORES puanlarını kullanan araçlar listemize göz atın. ORES henüz vikinizi desteklemiyorsa, destek isteme talimatlarına bakın.

ORES ile ilgili sorularınıza cevap mı arıyorsunuz? ORES SSS bölümüne bakın.

Düzenleme kalitesi

ORES kalite akışını düzenlemesi. "İnternet"'ten Vikipedi'ye akan düzenlemelerin açıklayıcı bir diyagramı, ORES'ten önce yapılan düzenlemelerin "bilinmeyen" kalitesini ve "iyi", "incelenmeye ihtiyaç duyar", "zarar verici" etiketleme ORES kullanıma sunulduktan sonra mümkündür.

Wikimedia'nın açık projeleriyle ilgili en kritik endişelerden biri, potansiyel olarak zarar verici katkıların gözden geçirilmesidir ("düzenlemeler"). Ayrıca iyi niyetle katkıda bulunanları (kasıtsız olarak zarara neden olabilecek) belirleme ve onlara destek verme ihtiyacı da vardır. Bu modeller Special:RecentChanges beslemesi yoluyla filtreleme işini kolaylaştırmak için tasarlanmıştır. Düzenleme kalitesi tahmin modelleri için iki düzey destek sunuyoruz: temel ve gelişmiş.

Temel destek

En zararlı düzenlemelerin geri alma düzenlenmesi ve zarar vermeyen düzenlemelerin geri döndürülmemesi olacağını varsayarsak, düzenlemelerin geçmişini (ve geri döndürülen düzenlemelerin) bir wiki. Bu modelin kurulumu kolaydır, ancak hasar ve vandalizm dışındaki nedenlerle birçok düzenlemenin geri döndürülmesi sorunundan muzdariptir. Buna yardımcı olmak için kötü kelimelere dayalı bir model oluşturuyoruz.

  • geri alındı – bir düzenlemenin sonunda geri döndürülüp döndürülmeyeceğini tahmin eder

Gelişmiş destek

Varsayımlardan, editörlerden ORES'i hangi düzenlemelerin aslında zarar verici olduğunu ve hangi düzenlemelerin iyi niyet içine kaydedilmiş gibi göründüğünü öğretmesini isteyebiliriz. Bu, topluluktaki gönüllülerin ek çalışmalarını gerektirir, ancak bir düzenlemenin kalitesi konusunda daha doğru ve incelikli bir tahmin sağlar. Birçok araç yalnızca hedef wiki için gelişmiş destek mevcut olduğunda çalışır.

  • zarar – bir düzenlemenin hasara neden olup olmadığını tahmin eder
  • iyi niyet – düzenlemenin iyi niyetle kaydedilip kaydedilmediğini tahmin eder


Madde kalitesi

İngilizce Vikipedi değerlendirme tablosu. WP 1.0 bot tarafından üretilen İngilizce Vikipedi değerlendirme tablosunun (Aralık 2014 itibariyle) ekran görüntüsü sunulmaktadır.

Vikipedi maddelerin kalitesi, Vikipedistler için temel bir sorundur. Spam, vandalizm ve saldırı maddelerin vikide kalmamasını sağlamak için yeni sayfalar incelenmeli ve derlenmelidir. İlk tedaviden sağ çıkan maddeler için, Vikipedistlerin bir kısmı makalelerin kalitesini düzenli olarak değerlendirir, ancak bu oldukça emek yoğundur ve değerlendirmeler genellikle güncel değildir.

İyileştirme desteği

Ciddi sorunlu taslak makaleler ne kadar hızlı kaldırılırsa o kadar iyidir. Yeni sayfa kreasyonlarını iyileştirmek çok iş olabilir. Düzenlemelerde karşı-vandalizm sorunu gibi, makine tahminleri de küratörlerin önce en sorunlu yeni sayfalara odaklanmalarına yardımcı olabilir. Yöneticilerin sayfaları sildiklerinde bıraktıkları yorumlara dayanarak (günlük kaydı tablosuna bakın), hangi sayfaların hızlı bir şekilde silinmesi gerektiğini tahmin etmek için bir model eğitebiliriz. İngilizce Vikipedi'nin hızlı silme nedenlerinin bir listesi için tr:VP:HS sayfasına bakın. İngilizce modeli için G3 "vandalizm", G10 "saldırı" ve G11 "spam" kullandık.

  • draftquality – maddenin hızlı bir şekilde silinmesi gerekip gerekmediğini tahmin eder (spam, vandalizm, saldırı veya iyi)

Değerlendirme ölçeği desteği

İlk tedaviden sağ çıkan maddeler için, bazı büyük Vikipedistler maddelerin kalitesini düzenli olarak İngilizce Vikipedi 1.0 değerlendirme derecelendirme ölçeğine ("madde kalitesi") karşılık gelen bir ölçek kullanarak değerlendirmektedir. Bu değerlendirmelere sahip olmak çok yararlıdır, çünkü ilerlememizi ölçmemize ve kaçırılmış fırsatları belirlememize yardımcı olur (örneğin, düşük kaliteli popüler makaleler). Bununla birlikte, bu değerlendirmeleri güncel tutmak zordur, bu nedenle kapsam tutarsızdır. articlequality makine öğrenimi modelinin kullanışlı olduğu yer burasıdır. İnsanların gerçekleştirdiği madde kalitesi değerlendirmelerini çoğaltmak için bir model eğiterek, her maddeyi ve her düzeltmeyi bir bilgisayarla otomatik olarak değerlendirebiliriz. Bu model, Vikiprojeler triyaj değerlendirme çalışmasına yardımcı olmak ve makale kalitesi iyileştirmelerine yol açan düzenleme dinamiklerini araştırmak için kullanılmıştır.

Madde kalitesi modeli, tahminlerini maddenin yapısal özelliklerine dayandırmaktadır. Ör. Kaç bölüm var? Bilgi kutusu var mı? Kaç kaynakça var? Kaynakça bir {{cite}} şablonu kullanıyor mu? Madde kalitesi modeli yazının kalitesini veya bir ton problemi olup olmadığını değerlendirmez (örneğin, itilen bir bakış açısı). Bununla birlikte, makalelerin yapısal özelliklerinin çoğu iyi yazma ve ton ile güçlü bir şekilde ilişkili gibi görünmektedir, bu nedenle modeller pratikte çok iyi çalışır.

  • articlequality – bir maddenin veya taslağın (Vikipedi 1.0 benzeri) değerlendirme sınıfını tahmin eder

Konu yönlendirme

Konu Çapraz yürüyüş. Çapraz viki etiketleme sürecinin bir görselleştirmesi sunulmaktadır. Vikipedi'nin Vikiproje maddeleri topikal ilgi alanına göre etiketliyor. Vikiprojeler, konu etiketlerinin sınıflandırılması şeklinde düzenlenmiştir. Konu etiketleri, Vikiveri site bağlantıları aracılığıyla diğer vikilerdeki maddelere uygulanır.

ORES'in madde konusu modeli, Vikipedi'deki herhangi bir makaleye - hatta yeni madde taslaklarına - sezgisel bir yukarıdan aşağı sınıflandırma uygular. Bu konu yönlendirme, yeni maddeleri seçmek, çalışma listeleri oluşturmak, yeni Vikiproje oluşturmak ve kapsam boşluklarını analiz etmek için kullanışlıdır.

ORES konu modelleri, gerçek içeriğin en:word embedding kullanılarak eğitilir. Her dil için, dile özgü bir gömme öğrenilir ve yerel olarak uygulanır. Bu modelleme stratejisi maddenin konusuna bağlı olduğundan, konu tahminleri maddenin metninde bulunan konulara bağlı olarak diller arasında farklılık gösterebilir.

İyileştirme desteği

Yeni madde yönlendirme. Bir diyagram, Vikipedi'deki yeni makalelerin akışını yönlendirme için kullanılan 'draftquality' ve 'articletopic' ORES modelleri ile eşleştirir.

Yeni makaleleri gözden geçirmenin en büyük zorluğu, noterlik, alaka düzeyi ve doğruluğu yargılamak için konuyu bilen birini bulmaktır. drafttopic modelimiz, yeni oluşturulan maddeleri, görünür topikal yapılarına dayanarak ilgili yorumculara yönlendirmek için tasarlanmıştır. Model, maddelerin ilk revizyonuna karşı eğitilir ve test edilir ve bu nedenle yeni makale taslaklarında kullanıma uygundur.

  • drafttopic – yeni bir makale taslağının konusunu tahmin eder

Konu ilgi eşlemesi

Madde etiketleme örneği (Ann Bishop). Ann Bishop Vikiproje East Anglia, Kadın bilim adamları, Kadın tarihi ve Biyografi ile etiketlenmiştir. Taksonomi çevirisi ve tahminleri sunulmaktadır. Tahminlerin, sınıflandırma bağlantılarından daha alakalı konu bilgileri içerdiğini unutmayın.

Maddelerin konuyla ilgisi, Vikipedi'de iş organizasyonu için önemli bir kavramdır. Topikal çalışma grupları, içerik üretimini yönetmek ve Vikipedi'de devriye gezmek için ortak bir strateji haline geldi. Ancak, yüksek düzeyli bir hiyerarşi pek çok nedenden dolayı kullanılamıyor veya sorgulanamıyor. Sonuç olarak, bir konu etrafında organize olmak ya da bir çalışma listesi yapmak isteyen herkes, ilgili maddeleri tanımlamak için önemli manüel çalışmalar yapmak zorundadır. articletopic modelimizle bu sorgular otomatik olarak yapılabilir.

Destek masası

ORES destek tablosu mevcut viki ve modele göre ORES desteğinin durumunu bildirir. Vikinizi listede görmüyorsanız veya kullanmak istediğiniz model için destek görmüyorsanız destek isteğinde bulunabilirsiniz.

API kullanımı

ORES, düzeltmelerle ilgili puanlama bilgilerini dinamik olarak almak için bir Restful API hizmeti sunmaktadır. API'nın kullanımı hakkında daha fazla bilgi için https://ores.wikimedia.org sayfasına bakın.

Hizmeti çok sayıda düzeltmeyle ilgili olarak soruyorsanız, aşağıda açıklandığı gibi her istekte 50 düzeltme toplu hale getirilmesi önerilir. En fazla 4 paralel istek kullanılması kabul edilebilir. Çok sayıda sorgu için ORES'i yerel olarak çalıştırabilirsiniz

Örnek sorgu: http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

Sonuç 
{
  "enwiki": {
    "models": {
      "draftquality": {
        "version": "0.0.1"
      },
      "wp10": {
        "version": "0.5.0"
      }
    },
    "scores": {
      "34854345": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.7013632376824356,
              "attack": 0.0033607229172158775,
              "spam": 0.2176404529599271,
              "vandalism": 0.07763558644042126
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "FA",
            "probability": {
              "B": 0.22222314275400137,
              "C": 0.028102719464462304,
              "FA": 0.7214649122864883,
              "GA": 0.008833476344463836,
              "Start": 0.017699431000825352,
              "Stub": 0.0016763181497590444
            }
          }
        }
      },
      "485104318": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.9870402772858909,
              "attack": 0.0006854267347843173,
              "spam": 0.010405615745053554,
              "vandalism": 0.0018686802342713132
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "Stub",
            "probability": {
              "B": 0.02035853144725939,
              "C": 0.021257471714087376,
              "FA": 0.0018133076388221472,
              "GA": 0.003447287158958823,
              "Start": 0.1470443252839051,
              "Stub": 0.8060790767569672
            }
          }
        }
      }
    }
  }
}


Örnek sorgu: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Sonuç 
{
  "wikidatawiki": {
    "models": {
      "damaging": {
        "version": "0.3.0"
      }
    },
    "scores": {
      "421063984": {
        "damaging": {
          "score": {
            "prediction": false,
            "probability": {
              "false": 0.9947809563336424,
              "true": 0.005219043666357669
            }
          }
        }
      }
    }
  }
}


Yerel kullanımı

ORES'i yerel olarak çalıştırmak için ORES'i şu şekilde yükleyebilirsiniz:

pip install ores # needs to be python3, incompatible with python2

O zaman bunu çalıştırabilmelisiniz:

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging

Çıkışını görmelisiniz

Sonuç 
017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}


Notlar

  1. Başlangıçta Objektif Revizyon Değerlendirme Servisi, bu uzun isim kullanımdan kaldırılmıştır.