ORES

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page ORES and the translation is 45% complete.

Outdated translations are marked like this.
Other languages:
English • ‎español • ‎français • ‎galego • ‎italiano • ‎polski • ‎português do Brasil • ‎русский • ‎中文 • ‎日本語 • ‎한국어

ORES (/ɔɹz/, En anglais «Objective Revision Evaluation Service», soit «Service Objectif d'Évaluation de Révisions») est un service web et une API qui fournit l'apprentissage automatique comme service pour des projets de Wikimedia supportés par l'équipe de la plate-forme de classement. Le système est conçu pour aider à automatiser le travail wiki critique, par exemple, dépistage et élimination de vandalisme. Pour le moment, les deux types généraux de classements que produit ORES visent la «qualité de contribution» et la «qualité de l'article».

ORES est un service sous-jacent, qui ne permet pas d'utiliser directement ses classements. Pour utiliser les classements d'ORES, consultez notre liste d'outils qui les utilisent. Si ORES n'est pas encore accessible sur votre wiki, lisez nos instructions pour demander du support.

Vous cherchez des réponses à vos questions sur ORES? Consultez la Foire Aux Questions sur ORES.

Qualité des interventions

Flux de qualité des contributions d'après ORES. Un diagramme descriptif des contributions entre "Internet" et Wikipédia; il décrit la qualité «inconnue» d'interventions avant ORES, et l'étiquetage «bon» (good), «discutable» (needs review) ou «nocif» (damaging) qui s'applique après ORES.

Une des préoccupations majeures quant aux projets ouverts de Wikimédia est d'identifier les contributions qui pourraient causer des dommages. De plus, il faut identifier les contributeurs de bonne foi (qui pourraient, par inadvertance, causer des dommages) et leur offrir du support. Ces modèles devraient faciliter la tâche de scruter la page Spécial:ChangementsRécents. Nous offrons deux modes pour nos modèles d'évaluation de la qualité des contributions: de base et avancé.

Support de base

Prenant pour acquit que la plupart des contributions dommageables vont être révoquées et que les contributions qui ne sont pas dommageables ne seront pas révoquées, nous pouvons travailler, à l'aide de l'historique des contributions (révoquées ou pas) sur un wiki. Ce modèle est facile à bâtir, mais son problème est que bien des contributions sont révoquées pour d'autres raisons que pour dangerosité ou vandalisme. Pour cette raison, nous bâtissons un modèle basé sur les gros mots.

  • réverté – suggère si une contribution devrait être révertée

Support avancé

Sans rien prendre pour acquit, nous pouvons demander aux bénévoles d'apprendre à ORES quelles contributions sont en fait dommageables et quelles contributions semblent avoir été enregitrées de bonnefoi. Cela demande plus de travail aux bénévoles de la communauté, mais offre une évaluation plus précise et nuancée quant à la qualité d'une intervention. Plusieurs outils ne fonctionneront que si le support avancé est disponible sur le wiki concerné.

  • dommageable – estime si une contribution peut causer des dommages
  • bonnefoi – estime si une contribution a été enregistrée de bonne foi


Qualité du contenu

English Wikipedia assessment table. A screenshot of the English Wikipedia assessment table (as at Dec 2014) generated by WP 1.0 bot is presented.

La qualité des articles de l'encyclopédie est une préoccupation centrale pour les wikipediens. Les pages nouvelles doivent être révisées et être conservées pour garantir que le spam, le vandalisme et les articles d'attaque ne demeurent pas dans le wiki. Pour les articles qui survivent à la vérification initiale, quelques wikipedias évaluent périodiquement la qualité des articles, mais ceci requiert beaucoup de travail et les évaluations sont souvent désuètes.

Curation support

The faster that seriously problematic types of draft articles are removed, the better. Curating new page creations can be a lot of work. Like the problem of counter-vandalism in edits, machine predictions can help curators focus on the most problematic new pages first. Based on comments left by admins when they delete pages (see the logging table), we can train a model to predict which pages will need quick deletion. See en:WP:CSD for a list of quick deletion reasons for English Wikipedia. For the English model, we used G3 "vandalism", G10 "attack", and G11 "spam".

  • draftquality – predicts if the article will need to be speedy deleted (spam, vandalism, attack, or OK)

Assessment scale support

For articles that survive the initial curation, some of the large Wikipedias periodically evaluate the quality of articles using a scale that roughly corresponds to the English Wikipedia 1.0 assessment rating scale ("articlequality"). Having these assessments is very useful because it helps us gauge our progress and identify missed opportunities (e.g., popular articles that are low quality). However, keeping these assessments up to date is challenging, so coverage is inconsistent. This is where the articlequality machine learning model comes in handy. By training a model to replicate the article quality assessments that humans perform, we can automatically assess every article and every revision with a computer. This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.

The articlequality model bases its predictions on structural characteristics of the article. E.g. How many sections are there? Is there an infobox? How many references? And do the references use a {{cite}} template? The articlequality model doesn't evaluate the quality of the writing or whether or not there's a tone problem (e.g. a point of view being pushed). However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.

  • articlequality – predicts the (Wikipedia 1.0-like) assessment class of an article or draft

Support table

The following table reports the status of ORES support by wiki and model available. If you don't see your wiki listed, or support for the model you'd like to use, you can request support.

Current support: https://tools.wmflabs.org/ores-support-checklist/

API usage

ORES offers a Restful API service for dynamically retrieving scoring information about revisions. See https://ores.wikimedia.org for more information on how to use the API.

If you're querying the service about a large number of revisions, it's recommended to batch 50 revisions in each request as described below. It's acceptable to use up to 4 parallel requests. For even larger number of queries, you can run ORES locally

Example query: http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318


Example query: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Local usage

To run ORES locally you can install ORES by

pip install ores # needs to be python3, incompatible with python2

Then you should be able to run it through

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging

You should see output of


Footnotes