ORES/fr

ORES (/ɔɹz/ - Objective Revision Evaluation Service) est un service web et une API qui fournit l'apprentissage automatique comme service pour des projets de Wikimedia supportés par l'équipe de la plate-forme de classement (Scoring Platform team). Le système est conçu pour aider à automatiser le travail wiki critique, par exemple, dépistage et élimination de vandalisme. Pour le moment, les deux types généraux de classements que produit ORES visent la « qualité des contributions » et la « qualité des articles ».

ORES est un service sous-jacent, qui ne permet pas d'utiliser directement ses classements. Pour utiliser les classements d'ORES, consultez notre liste d'outils qui les utilisent. Si ORES n'est pas encore accessible sur votre wiki, lisez nos instructions pour demander du support.

Vous cherchez des réponses à vos questions sur ORES ? Consultez la Foire Aux Questions de ORES.

Qualité des modifications
L'une des préoccupations majeures quant aux projets ouverts de Wikimédia est d'identifier les contributions (« modifications ») qui pourraient causer des dommages. De plus, il faut identifier les contributeurs de bonne foi (qui auraient pu causer des dommages par inadvertance) et leur offrir du support. Ces modèles permettent de travailler plus facilement sur le filtrage via le flux de la page Special:RecentChanges. Nous offrons deux modes pour nos modèles de prédiction de la qualité : le niveau de base et le niveau avancé.

Support de base
Prenant pour acquit que la plupart des contributions dommageables vont être révoquées et que les contributions qui ne sont pas dommageables ne seront pas  (révoquées), nous pouvons travailler, à l'aide de l'historique des contributions (révoquées ou pas) sur un wiki. Ce modèle est facile à bâtir, mais son problème est que bien des contributions sont révoquées pour d'autres raisons que pour dangerosité ou vandalisme. Pour cette raison, nous bâtissons un modèle basé sur les gros mots.


 * – suggère si une contribution devrait être annulée

Support avancé
Sans rien prendre pour acquit, nous pouvons demander aux bénévoles d'apprendre à ORES quelles contributions sont en fait  et quelles contributions semblent avoir été enregitrées dans. Cela demande plus de travail aux bénévoles de la communauté, mais offre une évaluation plus précise et nuancée quant à la qualité d'une intervention. Plusieurs outils ne fonctionneront que si le support avancé est disponible sur le wiki concerné.


 * (dommageable) – estime si une contribution peut causer des dommages
 * (bonnefoi) – estime si une contribution a été enregistrée de bonne foi

Qualité du contenu
La qualité des articles de Wikipedia est une préoccupation centrale pour les wikipédiens. Les pages nouvelles doivent être rélues et être maintenues pour garantir que le pourriel, le vandalisme et les articles d'attaque ne demeurent pas dans le wiki. Pour les articles qui survivent à la vérification initiale, certains wikipédiens évaluent périodiquement la qualité des articles, mais ceci requiert beaucoup de travail et les évaluations sont souvent désuètes.

Prise en charge du nettoyage
Plus vite ces types sérieusement problématiques d'articles brouillons seront supprimés et mieux cela sera. Le nettoyage des créations de nouvelles pages peut être un travil de longue haleine. Tout comme le problème des compteurs de vandalisme dans les modifications, les prédictions automatiques peuvent aider des mainteneurs à se concentrer d'abord sur les nouvelles pages les plus problématiques. En se basant sur les commentaires laissés par les administrateurs lorsqu'ils suppriment les pages (voir la table des connexions), il est possible d'entrainer un modèle à prédire les pages qui devront être supprimées rapidement. Voir en:WP:CSD pour une liste de motifs de supression rapide pour la Wikipedia anglophone. Pour le moède anglais, on utilisait G3 « vandalisme », G10 « attaque », and G11 « pourriel ».


 * – prédit si l'article devra être supprimé rapidement (pourriel, vandalisme, attaque, ou s'il est acceptable)

Prise en charge de l'échelle d'évaluation
Pour les articles qui ont survécu au filtrage initial, certaines des grandes Wikipédias évaluent périodiquement la qualité des articles en utilisant une échelle qui correspond approximativement à l'échelle d'évaluation Wikipedia anglaise 1.0 « qualité d'article ». Ces évaluations sont très utiles car elles nous aident à évaluer nos progrès et à identifier les opportunités manquées (par exemple, des articles populaires de qualité médiocre). Cependant, maintenir ces évaluations à jour est difficile, de sorte que la couverture est incohérente. C’est là que le modèle d’apprentissage automatique  est très utile. En entraînant un modèle à produire des évaluations sur la qualité des articles rédigés par les humains, nous pouvons évaluer automatiquement chaque article et chaque révision à l'aide d'un ordinateur. Ce modèle a été utilisé pour aider WikiProjects à trier le travail de réévaluation et à explorer les dynamiques d'édition qui conduisent à des améliorations de la qualité des articles.

Le modèle de qualité d'article fonde ses prédictions sur les caractéristiques structurelles des articles. Par exemple. Combien y a-t-il de sections ? Y a-t-il une boîte d'information (infobox) ? Combien y-a-t-il de références ? Et est-ce que les références utilisent un modèle cite ? Le modèle de qualité d'article n'évalue pas la qualité de l'écriture ni s'il existe ou non un problème de ton (par exemple, un point de vue mis en avant). Cependant, bon nombre des caractéristiques structurelles des articles semblent fortement corrélées avec une écriture et un ton corrects, de sorte que les modèles fonctionnent très bien dans la pratique.


 * – prédit la classe d'évaluation (comme en Wikipedia 1.0) d'un article ou d'un brouillon

Topic routing


ORES' article topic model applies an intuitive top-down taxonomy to any article in Wikipedia -- even new article drafts. This topic routing is useful for curating new articles, building work lists, forming new WikiProjects, and analyzing coverage gaps.

ORES topic models are trained using en:word embeddings of the actual content. For each language, a language-specific embedding is learned and applied natively. Since this modeling strategy depends on the topic of the article, topic predictions may differ between languages depending on the topics present in the text of the article.

Curation support


The biggest difficulty with reviewing new articles is finding someone familiar with the subject matter to judge notability, relevance, and accuracy. Our  model is designed to route newly created articles based on their apparent topical nature to interested reviewers. The model is trained and tested against the first revision of articles and is thus suitable to use on new article drafts.


 * – predicts the topic of an a new article draft

Topic interest mapping


The topical relatedness of articles is an important concept for the organization of work in Wikipedia. Topical working groups have become a common strategy for managing content production and patrolling in Wikipedia. Yet a high-level hierarchy is not available or query-able for many reasons. The result is that anyone looking to organize around a topic or make a work-list has to do substantial manual work to identify the relevant articles. With our  model, these queries can be done automatically.


 * – predicts the topic of an article

Tableau des prises en charge
La table de suppport ORES montre le status de la prise en charge disponible de ORES par wiki et par modèle. Si votre wiki n'est pas affiché, ou que la prise en charge du modèle que vous voulez utiliser n'y figure pas, vous pouvez demander de l'aide.

Utilisation l'API
ORES fournit un service d'API Rest pour récupérer dynamiquement un rapport d'information concernant les révisions. Voir https://ores.wikimedia.org pour plus d'informations sur la manière d'utiliser l'API.

Si vous interrogez le service pour un grand nombre de révisions, il est recommandé de les traiter par 50 révisions à chaque requête comme décrit ci-dessous. On peut aller jusqu'à 4 requêtes en parallèle. Pour un nombre de requêtes plus grand, vous pouvez exécuter ORES localement.

Exemple de requête : |wp10&revids=34854345|485104318 http://ores.wmflabs.org/v3/scores/enwiki/?modelsdraftquality|wp10&revids34854345|485104318

Exemple de requête : https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

EventStream usage
The ORES scores are also provided as an EventStream at https://stream.wikimedia.org/v2/stream/revision-score

Utilisation locale
Pour exécuter ORES localement, vous pouvez installer ORES avec :

Puis pous pouvez l'exécuter avec :

Et voir l'affichage de :