ORES

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page ORES and the translation is 100% complete.
Other languages:
English • ‎Esperanto • ‎Nederlands • ‎español • ‎français • ‎galego • ‎português do Brasil • ‎русский • ‎中文 • ‎日本語 • ‎한국어

ORES (/ɔɹz/ - Objective Revision Evaluation Service)[1] est un service web et une API qui fournit l'apprentissage automatique comme service pour des projets de Wikimedia supportés par l'équipe de la plate-forme de classement (Scoring Platform team). Le système est conçu pour aider à automatiser le travail wiki critique, par exemple, dépistage et élimination de vandalisme. Pour le moment, les deux types généraux de classements que produit ORES visent la « qualité des contributions » et la « qualité des articles ».

ORES est un service sous-jacent, qui ne permet pas d'utiliser directement ses classements. Pour utiliser les classements d'ORES, consultez notre liste d'outils qui les utilisent. Si ORES n'est pas encore accessible sur votre wiki, lisez nos instructions pour demander du support.

Vous cherchez des réponses à vos questions sur ORES ? Consultez la Foire Aux Questions de ORES.

Qualité des modifications

Flux de qualité des contributions d'après ORES. Un diagramme descriptif des contributions entre "Internet" et Wikipédia décrivant la qualité « inconnue » des interventions avant ORES, et l'étiquetage « bon » (good), « discutable » (needs review) ou « nocif » (damaging) qui s'applique après que ORES soit activé.

L'une des préoccupations majeures quant aux projets ouverts de Wikimédia est d'identifier les contributions (« modifications ») qui pourraient causer des dommages. De plus, il faut identifier les contributeurs de bonne foi (qui auraient pu causer des dommages par inadvertance) et leur offrir du support. Ces modèles permettent de travailler plus facilement sur le filtrage via le flux de la page Special:RecentChanges. Nous offrons deux modes pour nos modèles de prédiction de la qualité : le niveau de base et le niveau avancé.

Support de base

Prenant pour acquit que la plupart des contributions dommageables vont être révoquées et que les contributions qui ne sont pas dommageables ne seront pas reverted (révoquées), nous pouvons travailler, à l'aide de l'historique des contributions (révoquées ou pas) sur un wiki. Ce modèle est facile à bâtir, mais son problème est que bien des contributions sont révoquées pour d'autres raisons que pour dangerosité ou vandalisme. Pour cette raison, nous bâtissons un modèle basé sur les gros mots.

  • reverted – suggère si une contribution devrait être annulée

Support avancé

Sans rien prendre pour acquit, nous pouvons demander aux bénévoles d'apprendre à ORES quelles contributions sont en fait damaging et quelles contributions semblent avoir été enregitrées dans goodfaith. Cela demande plus de travail aux bénévoles de la communauté, mais offre une évaluation plus précise et nuancée quant à la qualité d'une intervention. Plusieurs outils ne fonctionneront que si le support avancé est disponible sur le wiki concerné.

  • damaging (dommageable) – estime si une contribution peut causer des dommages
  • goodfaith (bonnefoi) – estime si une contribution a été enregistrée de bonne foi


Qualité du contenu

Table d'évaluation de la Wikipedia anglophone. Une saisie d'écran de la table d'évaluation de la Wikipedia anglaise (décembre 2014) telle que générée par le robot WP 1.0 .

La qualité des articles de Wikipedia est une préoccupation centrale pour les wikipédiens. Les pages nouvelles doivent être rélues et être maintenues pour garantir que le pourriel, le vandalisme et les articles d'attaque ne demeurent pas dans le wiki. Pour les articles qui survivent à la vérification initiale, certains wikipédiens évaluent périodiquement la qualité des articles, mais ceci requiert beaucoup de travail et les évaluations sont souvent désuètes.

Prise en charge du nettoyage

Plus vite ces types sérieusement problématiques d'articles brouillons seront supprimés et mieux cela sera. Le nettoyage des créations de nouvelles pages peut être un travil de longue haleine. Tout comme le problème des compteurs de vandalisme dans les modifications, les prédictions automatiques peuvent aider des mainteneurs à se concentrer d'abord sur les nouvelles pages les plus problématiques. En se basant sur les commentaires laissés par les administrateurs lorsqu'ils suppriment les pages (voir la table des connexions), il est possible d'entrainer un modèle à prédire les pages qui devront être supprimées rapidement. Voir en:WP:CSD pour une liste de motifs de supression rapide pour la Wikipedia anglophone. Pour le moède anglais, on utilisait G3 « vandalisme », G10 « attaque », and G11 « pourriel ».

  • draftquality – prédit si l'article devra être supprimé rapidement (pourriel, vandalisme, attaque, ou s'il est acceptable)

Prise en charge de l'échelle d'évaluation

Pour les articles qui ont survécu au filtrage initial, certaines des grandes Wikipédias évaluent périodiquement la qualité des articles en utilisant une échelle qui correspond approximativement à l'échelle d'évaluation Wikipedia anglaise 1.0 « qualité d'article ». Ces évaluations sont très utiles car elles nous aident à évaluer nos progrès et à identifier les opportunités manquées (par exemple, des articles populaires de qualité médiocre). Cependant, maintenir ces évaluations à jour est difficile, de sorte que la couverture est incohérente. C’est là que le modèle d’apprentissage automatique articlequality est très utile. En entraînant un modèle à produire des évaluations sur la qualité des articles rédigés par les humains, nous pouvons évaluer automatiquement chaque article et chaque révision à l'aide d'un ordinateur. Ce modèle a été utilisé pour aider WikiProjects à trier le travail de réévaluation et à explorer les dynamiques d'édition qui conduisent à des améliorations de la qualité des articles.

Le modèle de qualité d'article fonde ses prédictions sur les caractéristiques structurelles des articles. Par exemple. Combien y a-t-il de sections ? Y a-t-il une boîte d'information (infobox) ? Combien y-a-t-il de références ? Et est-ce que les références utilisent un modèle {{cite}} ? Le modèle de qualité d'article n'évalue pas la qualité de l'écriture ni s'il existe ou non un problème de ton (par exemple, un point de vue mis en avant). Cependant, bon nombre des caractéristiques structurelles des articles semblent fortement corrélées avec une écriture et un ton corrects, de sorte que les modèles fonctionnent très bien dans la pratique.

  • articlequality – prédit la classe d'évaluation (comme en Wikipedia 1.0) d'un article ou d'un brouillon

Tableau des prises en charge

La table de suppport ORES montre le status de la prise en charge disponible de ORES par wiki et par modèle. Si votre wiki n'est pas affiché, ou que la prise en charge du modèle que vous voulez utiliser n'y figure pas, vous pouvez demander de l'aide.

Utilisation l'API

ORES fournit un service d'API Rest pour récupérer dynamiquement un rapport d'information concernant les révisions. Voir https://ores.wikimedia.org pour plus d'informations sur la manière d'utiliser l'API.

Si vous interrogez le service pour un grand nombre de révisions, il est recommandé de les traiter par 50 révisions à chaque requête comme décrit ci-dessous. On peut aller jusqu'à 4 requêtes en parallèle. Pour un nombre de requêtes plus grand, vous pouvez exécuter ORES localement.

Exemple de requête : http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

Résultat 
{
  "enwiki": {
    "models": {
      "draftquality": {
        "version": "0.0.1"
      },
      "wp10": {
        "version": "0.5.0"
      }
    },
    "scores": {
      "34854345": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.7013632376824356,
              "attack": 0.0033607229172158775,
              "spam": 0.2176404529599271,
              "vandalism": 0.07763558644042126
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "FA",
            "probability": {
              "B": 0.22222314275400137,
              "C": 0.028102719464462304,
              "FA": 0.7214649122864883,
              "GA": 0.008833476344463836,
              "Start": 0.017699431000825352,
              "Stub": 0.0016763181497590444
            }
          }
        }
      },
      "485104318": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.9870402772858909,
              "attack": 0.0006854267347843173,
              "spam": 0.010405615745053554,
              "vandalism": 0.0018686802342713132
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "Stub",
            "probability": {
              "B": 0.02035853144725939,
              "C": 0.021257471714087376,
              "FA": 0.0018133076388221472,
              "GA": 0.003447287158958823,
              "Start": 0.1470443252839051,
              "Stub": 0.8060790767569672
            }
          }
        }
      }
    }
  }
}


Exemple de requête : https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Résultat 
{
  "wikidatawiki": {
    "models": {
      "damaging": {
        "version": "0.3.0"
      }
    },
    "scores": {
      "421063984": {
        "damaging": {
          "score": {
            "prediction": false,
            "probability": {
              "false": 0.9947809563336424,
              "true": 0.005219043666357669
            }
          }
        }
      }
    }
  }
}


Utilisation locale

Pour exécuter ORES localement, vous pouvez installer ORES avec :

pip install ores # needs to be python3, incompatible with python2

Puis pous pouvez l'exécuter avec :

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging

Et voir l'affichage de :

Résultat 
017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}


Références

  1. Initialement le « Service Objectif d'Évaluation des Révisions »