ORES

From mediawiki.org
Jump to navigation Jump to search
This page is a translated version of the page ORES and the translation is 62% complete.
Outdated translations are marked like this.
Other languages:
Bahasa Indonesia • ‎English • ‎Esperanto • ‎Nederlands • ‎Türkçe • ‎español • ‎français • ‎galego • ‎português do Brasil • ‎suomi • ‎svenska • ‎čeština • ‎русский • ‎українська • ‎中文 • ‎日本語 • ‎한국어

ORES (/ɔɹz/)[1] — це вебсервіс та API, що надають машинне навчання як послугу для проєктів Вікімедіа, і підтримуються Командою платформи оцінювання (Scoring Platform team). Система розроблена для автоматизації критичноважливої вікіроботи: наприклад, виявлення та усунення вандалізму. Наразі ORES генерує два загальні типи оцінок, які лежать у контекстах «якість редагування» і «якісь статті». The system is designed to help automate critical wiki-work – for example, vandalism detection and removal. Currently, the two general types of scores that ORES generates are in the context of “edit quality” and “article quality.”

ORES є сервісом бекенду, і не дає прямого способу використовувати оцінки. Якщо ви б хотіли використовувати оцінки ORES, ознайомтеся з нашим списком інструментів, які використовують оцінки ORES. Якщо ORES іще не підтримує вашу вікі, див. нашу послідовність кроків для запиту підтримки. If you'd like to use ORES scores, check our list of tools that use ORES scores. If ORES doesn't support your wiki yet, see our instructions for requesting support.

Шукаєте відповіді на свої запитання про ORES? Перегляньте ЧаПи ORES.

Якість редагування

Потік якості редагування ORES. Описова діаграма редагувань, які надходять із «Інтернету» до Вікіпедії, показує «невідому» якість редагувань до проходження через ORES та позначки «добре», «потребує перегляду», «шкідливе», можливі після введення ORES.

Один з найбільш критичних моментів, коли йдеться про відкриті проєкти Вікімедіа, це розгляд потенційно шкідливого внеску («редагувань»). Також є потреба визначати дописувачів з добрими намірами (які можуть ненавмисне спричиняти шкоду) і пропонувати їм допомогу. Ці моделі мають на меті полегшити роботу з фільтрування стрічки Спеціальна:Нові_редагування. Ми пропонуємо два рівні підтримки для моделей передбачення якості редагувань: базовий та розширений. There's also the need to identify good-faith contributors (who may be inadvertently causing damage) and offer them support. These models are intended to make the work of filtering through the Special:RecentChanges feed easier. We offer two levels of support for edit quality prediction models: basic and advanced.

Базова підтримка

Припускаючи, що більшість шкідливих редагувань будуть відкинуті, а редагування, що не шкодять, такими (reverted) не будуть, ми можемо використати як основу історію редагувань (і відкинутих редагувань) з вікі. Ця модель налаштовується легко, але вона потерпає від того, що багато редагувань відкидають з інших причин, що не стосуються шкоди і вандалізму. Щоб зарадити цьому, ми створюємо модель, що базується на поганих словах. This model is easy to set up, but it suffers from the problem that many edits are reverted for reasons other than damage and vandalism. To help that, we create a model based on bad words.

  • reverted — передбачає, чи редагування буде в результаті відкинуте

Розширена підтримка

Замість робити припущення, ми можемо попросити редакторів натренувати ORES розрізняти, які редагування справді є шкідливими (damaging), а які схожі на добрі наміри (goodfaith). Це вимагає додаткової роботи з боку волонтерів у спільноті, але це дозволяє набагато точніші й тонші передбачення з огляду на якість редагування. Багато інструментів працюватимуть лише тоді, коли для вікі є розширена підтримка. This requires additional work on the part of volunteers in the community, but it affords a more accurate and nuanced prediction with regards to the quality of an edit. Many tools will only function when advanced support is available for a target wiki.

  • damaging — передбачає, чи редагування спричиняє шкоду чи ні
  • goodfaith — передбачає, чи редагування було збережене з добрими намірами

Якість статті

Таблиця оцінок в англійській Вікіпедії. Знімок екрану таблиці оцінок в англомовній Вікіпедії (станом на грудень 2014), згенерованої ботом WP 1.0.

Якість статей Вікіпедії є ключовою турботою вікіпедистів. Нові сторінки мають бути розглянуті й перевірені, щоб у вікі точно не залишилися спам, вандалізм та нападки. Якість статей, які виживають первинний розгляд, деякі вікіпедисти періодично оцінюють, але це дуже працезатратна діяльність, й оцінки часто застарілі. New pages must be reviewed and curated to ensure that spam, vandalism, and attack articles do not remain in the wiki. For articles that survive the initial curation, some of the Wikipedians periodically evaluate the quality of articles, but this is highly labor intensive and the assessments are often out of date.

Підтримка нагляду

Чим швидше вилучать дуже проблемні види статей-чернеток, тим краще. Нагляд за новоствореними сторінками може означати величезний обсяг роботи. Подібно до проблеми протидії вандалізму в редагуваннях, машинні передбачення можуть допомогти кураторам зосередитися перш за все на найбільш проблемних нових сторінках. На основі коментарів, які адміни залишають при вилученні сторінок (див. таблицю журналів), ми можемо натренувати модель, яка передбачатиме, які сторінки треба швидко вилучити. Див. список причин для швидкого вилучення в англійській Вікіпедії на en:WP:CSD. Для англійської моделі ми використали G3 «вандалізм», G10 «напад» та G11 «спам». Curating new page creations can be a lot of work. Like the problem of counter-vandalism in edits, machine predictions can help curators focus on the most problematic new pages first. Based on comments left by admins when they delete pages (see the logging table), we can train a model to predict which pages will need quick deletion. See en:WP:CSD for a list of quick deletion reasons for English Wikipedia. For the English model, we used G3 "vandalism", G10 "attack", and G11 "spam".

  • draftquality — передбачає, чи стаття має бути швидко вилучена (spam, vandalism, attack або OK)

Підтримка шкали оцінювання

Якість статей, які виживають первинний розгляд, у деяких великих Вікіпедіях періодично оцінюють з використанням шкали, яка значною мірою відповідає шкалі оцінювання англійської Вікіпедії 1.0 («articlequality»). Мати ці оцінки дуже корисно, бо це допомагає нам виміряти прогрес і визначити упущені можливості (наприклад, популярні статті низької якості). Однак доволі складно робити так, щоб ці оцінки завжди були свіжими, тому покриття статей оцінками непослідовне. Тут приходить на допомогу модель машинного навчання articlequality. Натренувавши модель відтворювати оцінювання якості статей, яке проводять люди, ми можемо автоматично оцінити кожну статтю й кожну версію з допомогою комп'ютера. Ця модель використовується, щоб допомогти вікіпроєктам сортувати за нагальністю роботу з повторного оцінювання і досліджувати, які саме редагування призводять до покращення якості статей. Having these assessments is very useful because it helps us gauge our progress and identify missed opportunities (e.g., popular articles that are low quality). However, keeping these assessments up to date is challenging, so coverage is inconsistent. This is where the articlequality machine learning model comes in handy. By training a model to replicate the article quality assessments that humans perform, we can automatically assess every article and every revision with a computer. This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.

Модель articlequality базує свої передбачення на структурних характеристиках статті. Наприклад, скільки у статті розділів? чи є картка? скільки приміток на джерела? Чи використовують примітки шаблон {{cite}}? Модель articlequality не оцінює якість тексту або наявність проблем викладу (скажімо, чи не просувається одна точка зору). Але схоже, багато структурних характеристик статей значно корелюють із гарним письмом і тоном, тому моделі дуже добре працюють на практиці. E.g. How many sections are there? Is there an infobox? How many references? And do the references use a {{cite}} template? The articlequality model doesn't evaluate the quality of the writing or whether or not there's a tone problem (e.g. a point of view being pushed). However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.

  • articlequality — передбачає (подібну до Wikipedia 1.0) оцінку статті чи чернетки за якістю

Маршрутизація тем

Перехрестя тем. Візуалізація процесу кросвікі маркування Вікіпроекти англійської Вікіпедії позначають статті за стосунком до певної теми. Вікіпроєкти організаовані у таксономію тематичних позначок. Тематичні позначки застосовуються до статей в інших вікі через посилання у Вікіданих.

Модель ORES для тем статей застосовує інтуїтивну низхідну таксономію для будь-якої статті у Вікіпедії — навіть для нових чернеток статей. Ця маршрутизація тем корисна для нагляду за новими статтями, створення робочих списків, формування нових Вікіпроєктів та аналізування прогалин контенту.

Тематичні моделі ORES тренуються з використанням вкладання слів (en:word embedding) у реальному контенті. Для кожної мови вивчається і застосовується мовноспецифічне вкладання. Оскільки ця стратегія моделювання залежить від теми статті, передбачення теми можуть відрізнятися між мовами залежно від тем, присутніх у тексті тієї чи іншої статті.

Підтримка нагляду

Маршрутизація нової статті. На діаграмі показано потік нових статей у Вікіпедії із застосованими для маршрутизації моделями ORES «draftquality» та «articletopic».

Найбільша складність при розгляді нових статей полягає у тому, щоб знайти когось знайомого з темою, щоб оцінити значущість, релевантність та правильність. Наша модель drafttopic розроблена для спрямування новостворених статей залежно від їхньої передбаченої тематичної природи до зацікавлених рецензентів. Модель тренується і тестується на першій версії статей і таким чином годиться лише для нових чернеток статей.

  • drafttopic – передбачає тему нової чернетки статті

Мапування тематичної приналежності

Приклад позначок статті (Ann Bishop). Стаття Ann Bishop належить до Вікіпроєктів East Anglia, Women scientists, Women's history, та Biography. Показане перетворення на тематичну таксономію і передбачення. Зверніть увагу, що передбачення містять більш відповідну темі інформацію, ніж таксономічні посилання.

Тематична пов'язаність статей є важливою концепцією для організації роботи у Вікіпедії. Тематичні робочі групи стали звичною стратегією управління продукуванням і патрулюванням вмісту Вікіпедії. Однак високорівнева ієрархія ще не доступна або ж не піддається автоматичним запитам з багатьох причин. Як наслідок, будь-хто, хто хоче організувати роботу навколо якоїсь теми або зробити робочий список, мусить виконати значну ручну роботу з виявлення відповідних статей. Завдяки нашій моделі articletopic, ці запити можна робити автоматично.

Таблиця підтримки

Таблиця підтримки ORES повідомляє статус підтримки ORES за вікі і доступними моделями. Якщо ви не бачите у списку своєї вікі або моделі, яку б хотіли використовувати, ви можете подати запит на підтримку. If you don't see your wiki listed, or support for the model you'd like to use, you can request support.

Використання API

ORES пропонує сервіс RESTful API для динамічного отримання інформації з оцінками версій. Див. більше інформації про те, як використовувати API, на https://ores.wikimedia.org.

Якщо ви робите запити до сервісу про велику кількість версій, рекомендовано згруповувати їх по 50 версій в одному запиті, як описано нижче. Прийнятно подавати до 4 паралельних запитів. Для ще більшого числа запитів, ви можете запускати ORES локально

Приклад запиту: http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

{
  "enwiki": {
    "models": {
      "draftquality": {
        "version": "0.0.1"
      },
      "wp10": {
        "version": "0.5.0"
      }
    },
    "scores": {
      "34854345": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.7013632376824356,
              "attack": 0.0033607229172158775,
              "spam": 0.2176404529599271,
              "vandalism": 0.07763558644042126
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "FA",
            "probability": {
              "B": 0.22222314275400137,
              "C": 0.028102719464462304,
              "FA": 0.7214649122864883,
              "GA": 0.008833476344463836,
              "Start": 0.017699431000825352,
              "Stub": 0.0016763181497590444
            }
          }
        }
      },
      "485104318": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.9870402772858909,
              "attack": 0.0006854267347843173,
              "spam": 0.010405615745053554,
              "vandalism": 0.0018686802342713132
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "Stub",
            "probability": {
              "B": 0.02035853144725939,
              "C": 0.021257471714087376,
              "FA": 0.0018133076388221472,
              "GA": 0.003447287158958823,
              "Start": 0.1470443252839051,
              "Stub": 0.8060790767569672
            }
          }
        }
      }
    }
  }
}
 

Результат


Приклад запиту: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

{
  "wikidatawiki": {
    "models": {
      "damaging": {
        "version": "0.3.0"
      }
    },
    "scores": {
      "421063984": {
        "damaging": {
          "score": {
            "prediction": false,
            "probability": {
              "false": 0.9947809563336424,
              "true": 0.005219043666357669
            }
          }
        }
      }
    }
  }
}
 

Результат


Використання EventStream

Оцінки ORES також надаються у вигляді EventStream на https://stream.wikimedia.org/v2/stream/revision-score

Локальне використання

Щоб запустити ORES локально, ви можете встановити ORES так:

pip install ores # needs to be python3, incompatible with python2

Після цього ви зможете запустити його так:

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging

Ви мажете побачити такий вивід:

017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}
 

Результат


Примітки

  1. Початково Objective Revision Evaluation Service, але ця довга довга назва більше не використовується.