ORES/nl

ORES (/ɔɹz/) is een webservice en API voor machinaal leren as a service voor Wikimedia-projecten die onderhouden wordt door het Scoring Platform team. Het systeem is ontworpen om te helpen bij het automatiseren van belangrijk wiki-werk, zoals het onderkennen van vandalisme en het verwijderen ervan. In mei 2019 kent ORES scores toe aan de kwaliteit van bewerkingen en van artikelen.

ORES is een dienst die op de achtergrond werkt en biedt niet geen directe mogelijkheid om gebruik te maken van deze resultaten. Als je gebruik wilt maken van de uitkomsten van ORES, kijk dan naar deze lijst van tools die ORES-scores gebruiken. Als ORES jouw wiki nog niet ondersteunt, kijk dan naar onze instructies om ondersteuning in te schakelen.

Zoek je antwoorden bij vragen over ORES? Kijk in de ORES FAQ.

Kwaliteit van bewerkingen
Een van de grootste zorgen over de open projecten van Wikimedia is de controle van mogelijk schadelijke bijdragen (bewerkingen). Het is ook wenselijk om bewerkers die van goede wil zijn (maar per ongeluk een ongewenste bewerking uitvoeren) en hun ondersteuning te bieden. Deze modellen maken het filteren van bewerkingen in de nl:Speciaal:RecenteWijzigingen makkelijker. ORES biedt ondersteuning voor kwaliteit voorspellende modellen op twee niveau's: basis en gevorderd.

Basisniveau
Uitgaande van het principe dat de meeste schadelijke bewerkingen worden teruggedraaid en bewerkingen die niet schadelijk zijn niet worden, kunnen we beginnen met het overzicht van bewerkingen (en teruggedraaide bewerkingen) van een wiki. Dit model is eenvoudig op te zetten, maar het is gevoelig voor alle ongedaanmakingen om andere redenen dan schade en vandalisme. Om dit te verbeteren, hebben we een model ontworpen dat gebaseerd is op ongewenste woorden.


 * – voorspelt of een bewerking vroeger of later zal worden teruggedraaid.

Gevorderd niveau
Naast de veronderstellingen van het basisniveau kunnen we bewerkers vragen om ORES te leren welke bewerkingen  zijn en welke bewerkingen aangemerkt moeten worden als. Dit vraagt meer inspanningen van de vrijwilligers in de gemeenschap, maar het leidt tot een nauwkeuriger en meer afgewogen voorspelling van de kwaliteit van een bewerking. Veel van de tools werken alleen als gevorderd niveau bereikt is op de betreffende wiki.


 * – voorspelt of een bewerking het project schaadt
 * – voorspelt of een bewerking is gedaan vanuit goede wil (maar wel ongelukkig uitpakt)

Kwaliteit van artikelen
De kwaliteit van artikelen op Wikipedia is een belangrijke zorg voor Wikipedianen. Nieuwe pagina's worden beoordeeld, opdat spam, vandalisme en andere ongewenste artikelen niet in de encyclopedie blijven. Artikelen die de eerste beoordeling doorstaan, worden met enige onregelmatigheid beoordeeld op hun kwaliteit, maar dit is behoorlijk arbeidsintensief en de beoordelingen zijn vaak achterhaald.

Ondersteuning bij de initiële beoordeling
Hoe eerder echt serieus problematische artikelen verwijderd worden, hoe beter het is. Het beoordelen van nieuw gecreëerde pagina's kan een hoop werk zijn. Net als bij het tegengaan van vandalisme in bewerkingen, kunnen ook hier computerondersteunde voorspellingen de beoordelaars helpen om de meest problematische artikelen als eerste te beoordelen. Uitgaande van de redenen die moderatoren opgeven bij het verwijderen van een pagina (zie '.....') kunnen we een model opstellen dat voorspelt welke pagina's in aanmerking komen voor directe verwijdering. Zie nl:Wikipedia:Criteria voor directe verwijdering voor een overzicht van de redenen voor directe verwijdering op de Nederlandse Wikipedia. Voor het Engelse model is uitgegaan van G3 "vandalism", G10 "attack", and G11 "spam".


 * – predicts if the article will need to be speedy deleted (spam, vandalism, attack, or OK)

Assessment scale support
For articles that survive the initial curation, some of the large Wikipedias periodically evaluate the quality of articles using a scale that roughly corresponds to the English Wikipedia 1.0 assessment rating scale ("articlequality"). Having these assessments is very useful because it helps us gauge our progress and identify missed opportunities (e.g., popular articles that are low quality). However, keeping these assessments up to date is challenging, so coverage is inconsistent. This is where the  machine learning model comes in handy. By training a model to replicate the article quality assessments that humans perform, we can automatically assess every article and every revision with a computer. This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.

The articlequality model bases its predictions on structural characteristics of the article. E.g. How many sections are there? Is there an infobox? How many references? And do the references use a cite template? The articlequality model doesn't evaluate the quality of the writing or whether or not there's a tone problem (e.g. a point of view being pushed). However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.


 * – predicts the (Wikipedia 1.0-like) assessment class of an article or draft

Support table
The following table reports the status of ORES support by wiki and model available. If you don't see your wiki listed, or support for the model you'd like to use, you can request support.

Current support: https://tools.wmflabs.org/ores-support-checklist/

API usage
ORES offers a Restful API service for dynamically retrieving scoring information about revisions. See https://ores.wikimedia.org for more information on how to use the API.

If you're querying the service about a large number of revisions, it's recommended to batch 50 revisions in each request as described below. It's acceptable to use up to 4 parallel requests. For even larger number of queries, you can run ORES locally

Example query: |wp10&revids=34854345|485104318 http://ores.wmflabs.org/v3/scores/enwiki/?modelsdraftquality|wp10&revids34854345|485104318

Example query: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Local usage
To run ORES locally you can install ORES by

Then you should be able to run it through

You should see output of