ORES/nl

ORES (/ɔɹz/) is een webservice en API voor "machinaal leren als een dienst" voor Wikimedia-projecten die onderhouden wordt door het Scoring Platform team. Het systeem is ontworpen om te helpen bij het automatiseren van belangrijk wiki-werk, zoals het onderkennen van vandalisme en het verwijderen ervan. In mei 2019 kent ORES scores toe aan de kwaliteit van bewerkingen en van artikelen.

ORES is een dienst die op de achtergrond werkt en biedt geen directe mogelijkheid om gebruik te maken van deze resultaten. Als je gebruik wilt maken van de uitkomsten van ORES, kijk dan naar deze lijst van tools die ORES-scores gebruiken. Als ORES jouw wiki nog niet ondersteunt, kijk dan naar onze instructies om ondersteuning in te schakelen.

Zoek je antwoorden bij vragen over ORES? Kijk in de ORES FAQ.

Kwaliteit van bewerkingen
Een van de grootste zorgen over de open projecten van Wikimedia is de controle van mogelijk schadelijke bijdragen (bewerkingen). Het is ook wenselijk om bewerkers die van goede wil zijn (maar per ongeluk een ongewenste bewerking uitvoeren) en hun ondersteuning te bieden. Deze modellen maken het filteren van bewerkingen in de nl:Speciaal:RecenteWijzigingen makkelijker. ORES biedt ondersteuning voor kwaliteit voorspellende modellen op twee niveau's: basis en gevorderd.

Basisniveau
Uitgaande van het principe dat de meeste schadelijke bewerkingen worden teruggedraaid en bewerkingen die niet schadelijk zijn niet worden, kunnen we beginnen met het overzicht van bewerkingen (en teruggedraaide bewerkingen) van een wiki. Dit model is eenvoudig op te zetten, maar het is gevoelig voor alle ongedaanmakingen om andere redenen dan schade en vandalisme. Om dit te verbeteren, hebben we een model ontworpen dat gebaseerd is op ongewenste woorden.


 * – voorspelt of een bewerking vroeger of later zal worden teruggedraaid.

Gevorderd niveau
Naast de veronderstellingen van het basisniveau kunnen we bewerkers vragen om ORES te leren welke bewerkingen  zijn en welke bewerkingen aangemerkt moeten worden als. Dit vraagt meer inspanningen van de vrijwilligers in de gemeenschap, maar het leidt tot een nauwkeuriger en meer afgewogen voorspelling van de kwaliteit van een bewerking. Veel van de tools werken alleen als gevorderd niveau bereikt is op de betreffende wiki.


 * – voorspelt of een bewerking het project schaadt
 * – voorspelt of een bewerking is gedaan vanuit goede wil (maar wel ongelukkig uitpakt)

Kwaliteit van artikelen
De kwaliteit van artikelen op Wikipedia is een belangrijke zorg voor Wikipedianen. Nieuwe pagina's worden beoordeeld, opdat spam, vandalisme en andere ongewenste artikelen niet in de encyclopedie blijven. Artikelen die de eerste beoordeling doorstaan, worden met enige onregelmatigheid beoordeeld op hun kwaliteit, maar dit is behoorlijk arbeidsintensief en de beoordelingen zijn vaak achterhaald.

Ondersteuning bij de initiële beoordeling
Hoe eerder echt serieus problematische artikelen verwijderd worden, hoe beter het is. Het beoordelen van nieuw gecreëerde pagina's kan een hoop werk zijn. Net als bij het tegengaan van vandalisme in bewerkingen, kunnen ook hier computerondersteunde voorspellingen de beoordelaars helpen om de meest problematische artikelen als eerste te beoordelen. Op basis van de redenen die moderatoren opgeven bij het verwijderen van een pagina (zie de logtabel) kunnen we een model opstellen dat voorspelt welke pagina's in aanmerking komen voor directe verwijdering. Zie nl:Wikipedia:Criteria voor directe verwijdering voor een overzicht van de redenen voor directe verwijdering op de Nederlandse Wikipedia. Voor het Engelse model is uitgegaan van G3 "vandalism", G10 "attack", and G11 "spam".


 * – voorspelt of het artikel waarschijnlijk voor directe verwijdering in aanmerking komt (spam, vandalisme, privacyschending of veilig)

Ondersteuning voor beoordeling
Voor artikelen die behouden blijven na de eerste beoordeling, beoordelen sommige van de grotere Wikpedias de kwaliteit van artikelen op een schaal die grofweg overeenkomt met versie 1.0 van de beoordelingsschaal van de Engelse Wikipedia ('kwaliteit van artikelen'). Deze beoordelingen zijn erg nuttig, omdat zij ons helpen onze voortgang te overzien en lacunes op te merken (bijvoorbeeld populaire artikelen die van lage kwaliteit zijn). Het is echter een uitdaging om deze beoordelingen accuraat te houden, dus zijn de aanduidingen inconsistent. Dit is waar het machine learning model voor de beoordeling van de  kan inspringen. Door het model te leren om de kwaliteitsbeoordeling, zoals menselijke bewerkers deze uitvoeren, na te doen, kunnen we automatisch ieder artikel, en iedere revisie, van een beoordeling voorzien. Dit model hebben we gebruikt om Wiki-projecten te helpen de beoordeling van revisies anders in te richten en om de bewerkingspatronen die leiden tot betere artikelen te onderzoeken

De beoordeling van de kwaliteit van artikelen is gebaseerd op structurele kenmerken van een artikel. Voorbeelden van deze kenmerken zijn: het aantal paragrafen, de aanwezigheid van een infobox, het aantal bronnen en het gebruik van citeer-sjablonen. De beoordeling kijkt niet naar het taalgebruik, de opbouw of de toonzetting van het artikel (bijvoorbeeld of er vanuit een niet-neutraal standpunt geschreven is). De ervaring leert dat veel van de structurele kenmerken van een artikel correlatie vertonen met de manier van schrijven en de neutraliteit, dus in de praktijk werkt dit model goed.


 * – voorspelt de kwaliteit van artikelen, vergelijkbaar met de beoordelingen volgens Wikipedia 1.0.

Overzicht van het gebruik
Onderstaande tabel geeft een overzicht van de status van ORES per wiki en gebruik. Als jouw wiki hier niet bij staat, of het specifieke gebruik niet ingeschakeld is, kan je dit aanvragen.

Current support: https://tools.wmflabs.org/ores-support-checklist/

API-gebruik
ORES biedt een restfull API-dienst voor het direct opvragen van de beoordeling van revisies. Zie https://ores.wikimedia.org voor meer informatie over het gebruik van de API.

Als je de beoordeling van grotere aantallen revisies wilt opvragen, wordt het aangeraden dit in batches van 50 te doen, zoals hieronder beschreven. Tot vier aanvragen kunnen tegelijk worden ingediend. Voor nog grotere aantallen kan je ervoor kiezen om ORES lokaal te draaien.

Voorbeeldquery: |wp10&revids=34854345|485104318 http://ores.wmflabs.org/v3/scores/enwiki/?modelsdraftquality|wp10&revids34854345|485104318

Voorbeeldquery: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Local usage
To run ORES locally you can install ORES by

Then you should be able to run it through

You should see output of