ORES
ORES  |
|---|
| Get ORES |
| Use ORES |
| Feedback and how to join |
| The team |
| Edit Review Improvements (ERI) |
|---|
| Functies |
| Documentatie |
| Technisch |
ORES (/ɔɹz/)[1] is een webservice en API voor "machinaal leren as a service" voor Wikimedia-projecten die onderhouden worden door het Scoring Platform team. Het systeem is ontworpen om te helpen bij het automatiseren van belangrijk wiki-werk, zoals het onderkennen en verwijderen van vandalisme. Anno mei 2019 kent ORES scores toe aan de kwaliteit van bewerkingen en van artikelen. The system is designed to help automate critical wiki-work – for example, vandalism detection and removal. Currently, the two general types of scores that ORES generates are in the context of “edit quality” and “article quality.”
ORES is een dienst die op de achtergrond werkt en biedt geen directe mogelijkheid om gebruik te maken van de resultaten. Als je gebruik wilt maken van de scores van ORES, kijk dan naar deze lijst van tools die ORES-scores gebruiken. Als ORES jouw wiki nog niet ondersteunt, kijk dan naar onze instructies om ondersteuning aan te vragen. If you'd like to use ORES scores, check our list of tools that use ORES scores. If ORES doesn't support your wiki yet, see our instructions for requesting support.
Zoek je antwoorden op je vragen over ORES? Kijk in de ORES FAQ.
Kwaliteit van bewerkingen
Een zorg bij de open projecten van Wikimedia is de controle van mogelijk schadelijke bijdragen (bewerkingen). Het is ook noodzakelijk om bewerkers te identificeren die van goede wil zijn (maar per ongeluk schade berokkenen) en hen ondersteuning te bieden. Deze modellen maken het filteren van bewerkingen in de nl:Speciaal:RecenteWijzigingen makkelijker. ORES biedt twee niveaus van ondersteuning aan modellen die de bewerkingskwaliteit voorspellen: basis en gevorderd. There's also the need to identify good-faith contributors (who may be inadvertently causing damage) and offer them support. These models are intended to make the work of filtering through the Special:RecentChanges feed easier. We offer two levels of support for edit quality prediction models: basic and advanced.
Basisniveau
Ervan uitgaande dat de meeste schadelijke bewerkingen worden teruggedraaid en dat bewerkingen die niet schadelijk zijn niet worden teruggedraaid, kan een overzicht van bewerkingen (en teruggedraaide bewerkingen) van een wiki gemaakt worden. Een dergelijk model is eenvoudig op te zetten, maar het lijdt onder alle terugdraaiingen die om andere redenen dan schade en vandalisme gedaan worden. Om dit probleem te verhelpen, is een model ontworpen dat gebaseerd is op ongewenste woorden.
This model is easy to set up, but it suffers from the problem that many edits are reverted for reasons other than damage and vandalism. To help that, we create a model based on bad words.
teruggedraaid– voorspelt of een bewerking op een gegeven moment teruggedraaid zal worden.
Gevorderd niveau
Liever dan slechts aannames te doen, wordt bewerkers gevraagd om ORES te leren welke bewerkingen beschadigend zijn en welke bewerkingen aangemerkt moeten worden als goede wil. Dit vraagt aanvullende inspanningen van de gemeenschap, maar het maakt een nauwkeurigere en meer afgewogen voorspelling van de kwaliteit van een bewerking mogelijk. Veel tools werken alleen als een gevorderd beschermingsniveau op de betreffende wiki is aangezet.
This requires additional work on the part of volunteers in the community, but it affords a more accurate and nuanced prediction with regards to the quality of an edit.
Many tools will only function when advanced support is available for a target wiki.
beschadigend– voorspelt of een bewerking het project schaadtgoede wil– voorspelt of een bewerking is gedaan vanuit goede wil (maar wel ongelukkig uitpakt)
Kwaliteit van artikelen
De kwaliteit van artikelen op Wikipedia is een belangrijke zorg voor Wikipedianen. Nieuwe pagina's moeten beoordeeld worden zodat spam, vandalisme en andere ongewenste artikelen niet in de encyclopedie blijven staan. Artikelen die de eerste beoordeling doorstaan, worden met enige onregelmatigheid beoordeeld op hun kwaliteit, maar dit is behoorlijk arbeidsintensief en de beoordelingen zijn vaak achterhaald. New pages must be reviewed and curated to ensure that spam, vandalism, and attack articles do not remain in the wiki. For articles that survive the initial curation, some of the Wikipedians periodically evaluate the quality of articles, but this is highly labor intensive and the assessments are often out of date.
New article evaluation
Hoe eerder echt serieus problematische artikelen verwijderd worden, hoe beter het is. Het beoordelen van nieuw gecreëerde pagina's kan veel werk zijn. Net als bij het tegengaan van vandalisme in bewerkingen, kunnen ook hier computerondersteunde voorspellingen de beoordelaars helpen om de meest problematische artikelen als eerste te beoordelen. Op basis van de redenen die moderatoren opgeven bij het verwijderen van een pagina (zie de logtabel) kan een model opgesteld worden dat voorspelt welke pagina's in aanmerking komen voor directe verwijdering. Zie nl:Wikipedia:Criteria voor directe verwijdering voor een overzicht van de redenen voor directe verwijdering op de Nederlandse Wikipedia. Voor het Engelse model is uitgegaan van G3 "vandalism", G10 "attack", and G11 "spam". Curating new page creations can be a lot of work. Like the problem of counter-vandalism in edits, machine predictions can help curators focus on the most problematic new pages first. Based on comments left by admins when they delete pages (see the logging table), we can train a model to predict which pages will need quick deletion. See en:WP:CSD for a list of quick deletion reasons for English Wikipedia. For the English model, we used G3 "vandalism", G10 "attack", and G11 "spam".
acceptabel– voorspelt of het artikel waarschijnlijk voor directe verwijdering in aanmerking komt (spam, vandalisme, privacyschending of veilig)
Existing article assessment
Voor artikelen die behouden blijven na de eerste beoordeling, evalueren sommige grotere Wikipedias de kwaliteit van artikelen op een schaal die grofweg overeenkomt met versie 1.0 van de beoordelingsschaal van de Engelse Wikipedia ('kwaliteit van artikelen'). Deze beoordelingen zijn erg nuttig, omdat zij ons helpen onze voortgang te overzien en lacunes op te merken (bijvoorbeeld populaire artikelen die van lage kwaliteit zijn). Het is echter een uitdaging om deze evaluaties actueel te houden; dat leidt ertoe dat deze evaluaties inconsistent zijn. Dit is waar het machinaal-leer-model voor de evaluatie van de artikelkwaliteit van pas komt. Door het model te leren om de kwaliteitsevaluatie zoals menselijke bewerkers deze uitvoeren, na te doen, kunnen we automatisch ieder artikel, en iedere herziening, van een beoordeling voorzien. Dit model is gebruikt om Wiki-projecten te helpen het opnieuw evalueren van de kwaliteit van nieuwe versies van artikelen en om de bewerkingspatronen die leiden tot betere artikelen te onderzoeken.
Having these assessments is very useful because it helps us gauge our progress and identify missed opportunities (e.g., popular articles that are low quality).
However, keeping these assessments up to date is challenging, so coverage is inconsistent.
This is where the articlequality machine learning model comes in handy.
By training a model to replicate the article quality assessments that humans perform, we can automatically assess every article and every revision with a computer.
This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.
De kwaliteitsevaluatie van artikelen is gebaseerd op structurele kenmerken van een artikel. Voorbeelden van deze kenmerken zijn: het aantal paragrafen, de aanwezigheid van een infobox, het aantal bronnen en het gebruik van citeer-sjablonen. De beoordeling kijkt niet naar het taalgebruik, de opbouw of de toonzetting van het artikel (bijvoorbeeld of er vanuit een niet-neutraal standpunt geschreven is). De ervaring leert dat veel van de structurele kenmerken van een artikel samenhangen met de manier van schrijven en de neutraliteit, dus in de praktijk werkt dit model goed. E.g. How many sections are there? Is there an infobox? How many references? And do the references use a {{cite}} template? The articlequality model doesn't evaluate the quality of the writing or whether or not there's a tone problem (e.g. a point of view being pushed). However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.
artikelkwaliteit– voorspelt de kwaliteit van artikelen, vergelijkbaar met de beoordelingen volgens Wikipedia 1.0.
Topic routing
ORES' article topic model applies an intuitive top-down taxonomy to any article in Wikipedia -- even new article drafts. This topic routing is useful for curating new articles, building work lists, forming new WikiProjects, and analyzing coverage gaps.
ORES topic models are trained using word embeddings of the actual content. For each language, a language-specific embedding is learned and applied natively. Since this modeling strategy depends on the topic of the article, topic predictions may differ between languages depending on the topics present in the text of the article.
New article evaluation
The biggest difficulty with reviewing new articles is finding someone familiar with the subject matter to judge notability, relevance, and accuracy.
Our drafttopic model is designed to route newly created articles based on their apparent topical nature to interested reviewers.
The model is trained and tested against the first revision of articles and is thus suitable to use on new article drafts.
drafttopic– predicts the topic of an a new article draft
Topic interest mapping
The topical relatedness of articles is an important concept for the organization of work in Wikipedia.
Topical working groups have become a common strategy for managing content production and patrolling in Wikipedia.
Yet a high-level hierarchy is not available or query-able for many reasons.
The result is that anyone looking to organize around a topic or make a work-list has to do substantial manual work to identify the relevant articles.
With our articletopic model, these queries can be done automatically.
articletopic– predicts the topic of an article (more details)
Overzicht van het gebruik
Onderstaande ORES tabel geeft een overzicht van de status en gebruik van ORES per wiki. Als jouw wiki hier niet bij staat of het specifieke gebruik niet is ingeschakeld is, kan je dit aanvragen. If you don't see your wiki listed, or support for the model you'd like to use, you can request support.
API-gebruik
API-gebruik
ORES biedt een restfull API-dienst voor het direct opvragen van de beoordeling van herzieningen. Zie https://ores.wikimedia.org voor meer informatie over het gebruik van de API.
Als je de beoordeling van grotere aantallen herzieningen wilt opvragen, wordt het aangeraden dit in batches van 50 te doen, zoals hieronder beschreven. Tot vier aanvragen kunnen tegelijk worden ingediend. Voor nog grotere aantallen kan je ervoor kiezen om ORES lokaal te draaien.
Voorbeeldquery: http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318
{
"enwiki": {
"models": {
"draftquality": {
"version": "0.0.1"
},
"wp10": {
"version": "0.5.0"
}
},
"scores": {
"34854345": {
"draftquality": {
"score": {
"prediction": "OK",
"probability": {
"OK": 0.7013632376824356,
"attack": 0.0033607229172158775,
"spam": 0.2176404529599271,
"vandalism": 0.07763558644042126
}
}
},
"wp10": {
"score": {
"prediction": "FA",
"probability": {
"B": 0.22222314275400137,
"C": 0.028102719464462304,
"FA": 0.7214649122864883,
"GA": 0.008833476344463836,
"Start": 0.017699431000825352,
"Stub": 0.0016763181497590444
}
}
}
},
"485104318": {
"draftquality": {
"score": {
"prediction": "OK",
"probability": {
"OK": 0.9870402772858909,
"attack": 0.0006854267347843173,
"spam": 0.010405615745053554,
"vandalism": 0.0018686802342713132
}
}
},
"wp10": {
"score": {
"prediction": "Stub",
"probability": {
"B": 0.02035853144725939,
"C": 0.021257471714087376,
"FA": 0.0018133076388221472,
"GA": 0.003447287158958823,
"Start": 0.1470443252839051,
"Stub": 0.8060790767569672
}
}
}
}
}
}
}
|
|---|
|
Resultaten |
Voorbeeldquery: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging
{
"wikidatawiki": {
"models": {
"damaging": {
"version": "0.3.0"
}
},
"scores": {
"421063984": {
"damaging": {
"score": {
"prediction": false,
"probability": {
"false": 0.9947809563336424,
"true": 0.005219043666357669
}
}
}
}
}
}
}
|
|---|
|
Resultaten |
EventStream usage
The ORES scores are also provided as an EventStream at https://stream.wikimedia.org/v2/stream/revision-score
Local usage
To run ORES locally you can install ORES by:
pip install ores # needs to be python3, incompatible with python2
Then you should be able to run it through :
echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging
You should see output of
017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}
|
|---|
|
Result |
Footnotes
- ↑ Oorspronkelijk Objective Revision Evaluation Service, maar die naam wordt niet meer gebruikt.