ORES/fr

ORES (/ɔɹz/ - Objective Revision Evaluation Service) est un service web et une API qui fournit l'apprentissage automatique en tant que service pour des projets de Wikimedia supportés par l'équipe de la plate-forme de classement (Scoring Platform team). Le système est conçu pour aider à automatiser le travail wiki critique, par exemple, dépistage et élimination de vandalisme. Pour le moment, les deux types généraux de classements que produit ORES visent la « qualité des contributions » et la « qualité des articles ».

ORES est un service sous-jacent, qui ne permet pas d'utiliser directement ses classements. Pour utiliser les classements d'ORES, consultez notre liste d'outils qui les utilisent. Si ORES n'est pas encore accessible sur votre wiki, lisez nos instructions pour demander du support.

Vous cherchez des réponses à vos questions sur ORES ? Consultez la Foire Aux Questions de ORES.

Qualité des modifications
L'une des préoccupations majeures quant aux projets ouverts de Wikimédia est d'identifier les contributions (« modifications ») qui pourraient causer des dommages. De plus, il faut identifier les contributeurs de bonne foi (qui auraient pu causer des dommages par inadvertance) et leur offrir du support. Ces modèles permettent de travailler plus facilement sur le filtrage via le flux de la page Special:RecentChanges. Nous offrons deux modes pour nos modèles de prédiction de la qualité : le niveau de base et le niveau avancé.

Support de base
Prenant pour acquit que la plupart des contributions dommageables vont être révoquées et que les contributions qui ne sont pas dommageables ne seront pas  (révoquées), nous pouvons travailler, à l'aide de l'historique des contributions (révoquées ou pas) sur un wiki. Ce modèle est facile à bâtir, mais son problème est que bien des contributions sont révoquées pour d'autres raisons que pour dangerosité ou vandalisme. Pour cette raison, nous bâtissons un modèle basé sur les gros mots. This model is easy to set up, but it suffers from the problem that many edits are reverted for reasons other than damage and vandalism. To help that, we create a model based on bad words.


 * – suggère si une contribution devrait être annulée

Support avancé
Sans rien prendre pour acquit, nous pouvons demander aux bénévoles d'apprendre à ORES quelles contributions sont en fait  et quelles contributions semblent avoir été enregitrées dans. Cela demande plus de travail aux bénévoles de la communauté, mais offre une évaluation plus précise et nuancée quant à la qualité d'une intervention. Plusieurs outils ne fonctionneront que si le support avancé est disponible sur le wiki concerné. This requires additional work on the part of volunteers in the community, but it affords a more accurate and nuanced prediction with regards to the quality of an edit. Many tools will only function when advanced support is available for a target wiki.


 * (dommageable) – estime si une contribution peut causer des dommages
 * (bonnefoi) – estime si une contribution a été enregistrée de bonne foi

Qualité du contenu
La qualité des articles de Wikipedia est une préoccupation centrale pour les wikipédiens. Les pages nouvelles doivent être rélues et être maintenues pour garantir que le pourriel, le vandalisme et les articles d'attaque ne demeurent pas dans le wiki. Pour les articles qui survivent à la vérification initiale, certains wikipédiens évaluent périodiquement la qualité des articles, mais ceci requiert beaucoup de travail et les évaluations sont souvent désuètes. New pages must be reviewed and curated to ensure that spam, vandalism, and attack articles do not remain in the wiki. For articles that survive the initial curation, some of the Wikipedians periodically evaluate the quality of articles, but this is highly labor intensive and the assessments are often out of date.

Evaluation de nouveaux articles
Plus vite ces types sérieusement problématiques d'articles brouillons seront supprimés et mieux cela sera. Le nettoyage des créations de nouvelles pages peut être un travail de longue haleine. Tout comme le problème des compteurs de vandalisme dans les modifications, les prédictions automatiques peuvent aider des mainteneurs à se concentrer d'abord sur les nouvelles pages les plus problématiques. En se basant sur les commentaires laissés par les administrateurs lorsqu'ils suppriment les pages (voir la table des connexions), il est possible d'entrainer un modèle à prédire les pages qui devront être supprimées rapidement. Voir en:WP:CSD pour une liste de motifs de supression rapide pour la Wikipedia anglophone. Pour le modèle anglais, on utilisait G3 « vandalisme », G10 « attaque », etG11 « pourriel ». Curating new page creations can be a lot of work. Like the problem of counter-vandalism in edits, machine predictions can help curators focus on the most problematic new pages first. Based on comments left by admins when they delete pages (see the logging table), we can train a model to predict which pages will need quick deletion. See en:WP:CSD for a list of quick deletion reasons for English Wikipedia. For the English model, we used G3 "vandalism", G10 "attack", and G11 "spam".


 * – prédit si l'article devra être supprimé rapidement (pourriel, vandalisme, attaque, ou s'il est acceptable)

Existing article assessment
Pour les articles qui ont survécu au filtrage initial, certaines des grandes Wikipédias évaluent périodiquement la qualité des articles en utilisant une échelle qui correspond approximativement à l'échelle d'évaluation Wikipedia anglaise 1.0 « qualité d'article ». Ces évaluations sont très utiles car elles nous aident à évaluer nos progrès et à identifier les opportunités manquées (par exemple, des articles populaires de qualité médiocre). Cependant, maintenir ces évaluations à jour est difficile, de sorte que la couverture est incohérente. C’est là que le modèle d’apprentissage automatique  est très utile. En entraînant un modèle à produire des évaluations sur la qualité des articles rédigés par les humains, nous pouvons évaluer automatiquement chaque article et chaque révision à l'aide d'un ordinateur. Ce modèle a été utilisé pour aider WikiProjects à trier le travail de réévaluation et à explorer les dynamiques d'édition qui conduisent à des améliorations de la qualité des articles. Having these assessments is very useful because it helps us gauge our progress and identify missed opportunities (e.g., popular articles that are low quality). However, keeping these assessments up to date is challenging, so coverage is inconsistent. This is where the  machine learning model comes in handy. By training a model to replicate the article quality assessments that humans perform, we can automatically assess every article and every revision with a computer. This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.

Le modèle de qualité d'article fonde ses prédictions sur les caractéristiques structurelles des articles. Par exemple. Combien y a-t-il de sections ? Y a-t-il une boîte d'information (infobox) ? Combien y-a-t-il de références ? Et est-ce que les références utilisent un modèle cite ? Le modèle de qualité d'article n'évalue pas la qualité de l'écriture ni s'il existe ou non un problème de ton (par exemple, un point de vue mis en avant). Cependant, bon nombre des caractéristiques structurelles des articles semblent fortement corrélées avec une écriture et un ton corrects, de sorte que les modèles fonctionnent très bien dans la pratique. E.g. How many sections are there? Is there an infobox? How many references? And do the references use a cite template? The articlequality model doesn't evaluate the quality of the writing or whether or not there's a tone problem (e.g. a point of view being pushed). However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.


 * – prédit la classe d'évaluation (comme en Wikipedia 1.0) d'un article ou d'un brouillon

Routage des sujets


Le modèle de sujet d'articles ORES applique une taxinomie intuitive de haut en bas intuitive à tout article de Wikipedia -- même aux brouillons des nouveaux articles. Ce routage des articles est utile pour conserver les nouveaux articles, construire des listes de travail, créer de nouveaux projets wiki, et analyser les manques de couverture.

Les modèles de sujet ORES sont entraînés en utilisant les en:word embedding du contenu actuel. Pour chaque langue, une partie embarquée spécifique à la langue est apprise et appliquée en natif. Parce que cette stratégie de modélisation dépend du sujet des l'articles, les pédictions de sujet peuvent différer selon la langue, en fonction des sujets présents dans le texte des articles.

Evaluation de nouveaux articles


La plus grand difficulté avec la relecture de nouveaux articles, c'est de trouver quelqu'un qui soit familier avec la matière du sujet pour estimer la notabilié, la pertinence et l'exactitude. Notre modèle  est conçu pour router les articles nouvellement créés en se basant sur la nature apparente de leur sujet, vers les relecteurs intéressés. Le modèle est entraîné et testé sur la première version des articles et donc il convient pour être utilisé sur le brouillon des nouveaux articles.


 * – prédit le sujet du brouillon d'un nouvel article

Correspondance de l'intérêt des sujets


Les relations entre les sujets des articles est un concept important pour l'organisation du travail dans Wikipedia. Les groupes de travail par thème sont devenus une stratégie commune de la gestion de production de contenu et du patrouillage dans Wikipedia. Cependant une hiérachie de haut niveau n'est pas disponible ni interrogeable pour plusieurs raisons. Le résultat est que quiconque cherchant à organiser sur un sujet donné, ou à établir une liste de travail, doit fournir un travail manuel substanciel afin d'identifier les articles concernés. Avec notre modèle, ces requêtes peuvent être faites automatiquement.


 * – prédit le sujet d'un article

Tableau des prises en charge
La table de suppport ORES montre le status de la prise en charge disponible de ORES par wiki et par modèle. Si votre wiki n'est pas affiché, ou que la prise en charge du modèle que vous voulez utiliser n'y figure pas, vous pouvez demander de l'aide. If you don't see your wiki listed, or support for the model you'd like to use, you can request support.

Utilisation l'API
ORES fournit un service d'API Rest pour récupérer dynamiquement un rapport d'information concernant les révisions. Voir https://ores.wikimedia.org pour plus d'informations sur la manière d'utiliser l'API.

Si vous interrogez le service pour un grand nombre de révisions, il est recommandé de les traiter par 50 révisions à chaque requête comme décrit ci-dessous. On peut aller jusqu'à 4 requêtes en parallèle. Pour un nombre de requêtes plus grand, vous pouvez exécuter ORES localement.

Exemple de requête : |wp10&revids=34854345|485104318 http://ores.wmflabs.org/v3/scores/enwiki/?modelsdraftquality|wp10&revids34854345|485104318

Exemple de requête : https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Utiliser EventStream
Les évaluations de ORES sont aussi fournies en tant que EventStream sur https://stream.wikimedia.org/v2/stream/revision-score

Utilisation locale
Pour exécuter ORES localement, vous pouvez installer ORES avec :

Puis pous pouvez l'exécuter avec :

Et voir l'affichage de :