ORES

From mediawiki.org
Jump to navigation Jump to search
This page is a translated version of the page ORES and the translation is 14% complete.
Outdated translations are marked like this.
Other languages:
Bahasa Indonesia • ‎English • ‎Esperanto • ‎Nederlands • ‎Türkçe • ‎español • ‎français • ‎galego • ‎português do Brasil • ‎suomi • ‎svenska • ‎čeština • ‎русский • ‎українська • ‎中文 • ‎日本語 • ‎한국어

ORES (/ɔɹz/, en inglés «Objective Revision Evaluation Service» o «Servicio Objetivo de Evaluación de Revisiones») es un servicio web y una API que proporciona aprendizaje automático como servicio para proyectos de Wikimedia mantenidos por el equipo de la plataforma de clasificación. El sistema está diseñado para ayudar a automatizar el trabajo wiki crítico, por ejemplo, detección y eliminación de vandalismo. Actualmente, los dos tipos generales de clasificaciones que genera ORES se encuentran en el contexto de «calidad de edición» y «calidad del artículo». El sistema está diseñado para ayudar a automatizar el wiki-trabajo crítico (por ejemplo, la detección y eliminación del vandalismo). Actualmente, los dos tipos generales de puntuaciones que genera ORES están en el contexto de "calidad de edición" y "calidad de artículo".

ORES es un servicio de back-end y no proporciona directamente una forma de hacer uso de las clasificaciones. Si deseas usar las clasificaciones de ORES, consulta nuestra lista de herramientas que usa clasificaciones de ORES. Si ORES aún no es compatible con tu wiki, consulta nuestras instrucciones para solicitar asistencia. If you'd like to use ORES scores, check our list of tools that use ORES scores. If ORES doesn't support your wiki yet, see our instructions for requesting support.

¿Buscas respuestas a tus preguntas sobre ORES? Comprueba la página de preguntas y respuestas.

Calidad de edición

Flujo de calidad de edición de ORES. Un diagrama descriptivo de las ediciones que fluyen desde "Internet" hacia Wikipedia describe la calidad «desconocida» de ediciones antes de ORES y el etiquetado como «bueno» (good), «necesita revisión» (needs review), «perjudicial» (damaging) que se aplica después de ORES.

Una de las preocupaciones más críticas sobre los proyectos abiertos de Wikimedia es la revisión de las contribuciones potencialmente dañinas («ediciones»). También existe la necesidad de identificar a los colaboradores de buena fe (que puedan estar causando daño inadvertidamente) y ofrecerles apoyo. Estos modelos están diseñados para facilitar el trabajo de filtrado a través de Especial:CambiosRecientes. Ofrece dos niveles de soporte para editar modelos de predicción de calidad: básico y avanzado. There's also the need to identify good-faith contributors (who may be inadvertently causing damage) and offer them support. These models are intended to make the work of filtering through the Special:RecentChanges feed easier. We offer two levels of support for edit quality prediction models: basic and advanced.

Soporte básico

Suponiendo que las ediciones más dañinas serán revertidas y las que no sean dañinas no se revertirán, pomemos trabajar utilizando el historial de ediciones (y ediciones revertidas) de una wiki. Este modelo es fácil de configurar, pero adolece del problema de que muchas ediciones se revierten por motivos distintos al vandalismo. Para ayudar con esto, creamos un modelo basado en palabras malas. This model is easy to set up, but it suffers from the problem that many edits are reverted for reasons other than damage and vandalism. To help that, we create a model based on bad words.

  • reverted – predice si una edición será finalmente revertida

Soporte avanzado

En lugar de suponer, podemos pedir a los editores que entrenen ORES con aquellas ediciones que son de hecho dañinas damaging y las que parezcan haber sido realiazas de buena fe goodfaith. Esto requiere un trabajo adicional por parte de los voluntarios en la comunidad, pero ofrece una predicción más precisa y matizada con respecto a la calidad de una edición. Muchas herramientas solo funcionarán cuando haya un soporte avanzado disponible para una wiki concreta. This requires additional work on the part of volunteers in the community, but it affords a more accurate and nuanced prediction with regards to the quality of an edit. Many tools will only function when advanced support is available for a target wiki.

  • damaging – predice si una edición es dañina
  • goodfaith – predice si una edicion fue realizada de buena fe

Calidad de un artículo

Tabla de evaluación de la Wikipedia en inglés. Esta es una captura de pantalla de la tabla de evaluación de Wikipedia en inglés generada por WP 1.0 bot.

La calidad de los artículos de la enciclopedia es una preocupación central para los wikipedistas. Las páginas nuevas deben revisarse y conservarse para garantizar que el spam, el vandalismo y los artículos de ataque no permanezcan en la wiki. Para los artículos que sobreviven a la verificación inicial, algunos wikipedistas evalúan periódicamente la calidad de los artículos, pero esto requiere mucha mano de obra y las evaluaciones a menudo están desactualizadas. New pages must be reviewed and curated to ensure that spam, vandalism, and attack articles do not remain in the wiki. For articles that survive the initial curation, some of the Wikipedians periodically evaluate the quality of articles, but this is highly labor intensive and the assessments are often out of date.

New article evaluation

Mientras más rápido se eliminen los borradores realmente problemáticos, mejor. La verificación de nuevas páginas puede ser una gran tarea. Al igual que el problema del contra-vandalismo en las ediciones, las predicciones automáticas pueden ayudar a los verificadores a enfocarse primero en las páginas nuevas más problemáticas. En función de los comentarios que dejan los administradores cuando eliminan páginas (consulta la tabla de registro), se puede entrenar un modelo para predecir qué páginas necesitarán un borrado rápido. Consulta es:WP:BR para ver la lista de criterios para el borrado rápido de Wikipedia en español. Para el modelo en español, utilizamos G3 «Páginas promocionales», G10 «Para mantenimiento elemental», y G11 «A petición del único autor». Curating new page creations can be a lot of work. Like the problem of counter-vandalism in edits, machine predictions can help curators focus on the most problematic new pages first. Based on comments left by admins when they delete pages (see the logging table), we can train a model to predict which pages will need quick deletion. See en:WP:CSD for a list of quick deletion reasons for English Wikipedia. For the English model, we used G3 "vandalism", G10 "attack", and G11 "spam".

  • draftquality – predice si el artículo necesita ser eliminado rápidamente (spam, vandalismo, ataque u OK)

Existing article assessment

Para los artículos que sobreviven a la verificación inicial, algunas de las Wikipedias grandes evalúan periódicamente la calidad de los artículos usando una escala que corresponde aproximadamente a la escala de calificación de evaluaciones («wp10») de Wikipedia en inglés 1.0. Tener estas evaluaciones es muy útil porque nos ayuda a medir nuestro progreso e identificar oportunidades perdidas (P.ej., artículos populares de baja calidad). Sin embargo, mantener estas evaluaciones al día es un desafío, por lo que la cobertura es inconsistente. Aquí es donde el modelo de aprendizaje automático wp10 es útil. Al entrenar un modelo para replicar las evaluaciones de la calidad de un artículo que realizan los humanos, podemos evaluar automáticamente cada artículo y cada revisión con una computadora. Este modelo se ha utilizado para ayudar a WikiProyectos en el trabajo de triage de reevaluaciones y para explorar las dinámicas de edición que conducen a mejoras en la calidad de los artículos. Having these assessments is very useful because it helps us gauge our progress and identify missed opportunities (e.g., popular articles that are low quality). However, keeping these assessments up to date is challenging, so coverage is inconsistent. This is where the articlequality machine learning model comes in handy. By training a model to replicate the article quality assessments that humans perform, we can automatically assess every article and every revision with a computer. This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.

El modelo wp10 basa sus predicciones en las características estructurales del artículo. P.ej. ¿Cuántas secciones hay? ¿Hay un cuadro de información? ¿Cuántas referencias? ¿Y las referencias usan una plantilla {{cite}}? El modelo wp10 no evalúa la calidad de la escritura ni si hay o no un problema de tono (por ejemplo, si se está presionando un punto de vista). Sin embargo, muchas de las características estructurales de los artículos parecen correlacionarse fuertemente con la buena escritura y el tono, por lo que los modelos funcionan muy bien en la práctica. E.g. How many sections are there? Is there an infobox? How many references? And do the references use a {{cite}} template? The articlequality model doesn't evaluate the quality of the writing or whether or not there's a tone problem (e.g. a point of view being pushed). However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.

  • wp10 – predice la clase de evaluación (tipo Wikipedia 1.0) de un artículo o borrador

Topic routing

Topic Cross-walk. A visualization of the cross-wiki labeling process is presented. English Wikipedia's WikiProjects tag articles by topical interest. WikiProjects are organized into a taxonomy of topic labels. The topic labels are applied to articles on other wikis via Wikidata sitelinks.

ORES' article topic model applies an intuitive top-down taxonomy to any article in Wikipedia -- even new article drafts. This topic routing is useful for curating new articles, building work lists, forming new WikiProjects, and analyzing coverage gaps.

ORES topic models are trained using word embeddings of the actual content. For each language, a language-specific embedding is learned and applied natively. Since this modeling strategy depends on the topic of the article, topic predictions may differ between languages depending on the topics present in the text of the article.

New article evaluation

New article routing. A diagram maps the flow of new articles in Wikipedia with the 'draftquality' and 'articletopic' ORES models used for routing.

The biggest difficulty with reviewing new articles is finding someone familiar with the subject matter to judge notability, relevance, and accuracy. Our drafttopic model is designed to route newly created articles based on their apparent topical nature to interested reviewers. The model is trained and tested against the first revision of articles and is thus suitable to use on new article drafts.

  • drafttopicpredicts the topic of an a new article draft

Topic interest mapping

Article tagging example (Ann Bishop). Ann Bishop is tagged by WikiProjects East Anglia, Women scientists, Women's history, and Biography. The topic taxonomy translation and predictions are presented. Note that the predictions include more relevant topic information than the taxonomy links.

The topical relatedness of articles is an important concept for the organization of work in Wikipedia. Topical working groups have become a common strategy for managing content production and patrolling in Wikipedia. Yet a high-level hierarchy is not available or query-able for many reasons. The result is that anyone looking to organize around a topic or make a work-list has to do substantial manual work to identify the relevant articles. With our articletopic model, these queries can be done automatically.

  • articletopicpredicts the topic of an article (more details )

Tabla de soporte

La siguiente tabla informa el estado del soporte de ORES por wiki y modelo disponible. Si no ves tu wiki en la lista, o no admite el modelo que te gustaría usar, puedes solicitar asistencia. If you don't see your wiki listed, or support for the model you'd like to use, you can request support.

Uso de la API

ORES ofrece un servicio de API Restful para revertir dinámicamente clasificando información sobre revisiones. ver $oreso para más información sobre cómo para utilizar la API.

ORES offers a Restful API service for dynamically retrieving scoring information about revisions. See https://ores.wikimedia.org for more information on how to use the API.

Si estás consultando el servicio acerca de una gran cantidad de revisiones, se recomienda realizar un lote de 50 revisiones en cada solicitud, tal como se describe a continuación. Es aceptable usar hasta 4 solicitudes paralelas. Para un número aún mayor de consultas, puedes ejecutar ORES localmente

Consulta de ejemplo: http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

{
  "enwiki": {
    "models": {
      "draftquality": {
        "version": "0.0.1"
      },
      "wp10": {
        "version": "0.5.0"
      }
    },
    "scores": {
      "34854345": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.7013632376824356,
              "attack": 0.0033607229172158775,
              "spam": 0.2176404529599271,
              "vandalism": 0.07763558644042126
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "FA",
            "probability": {
              "B": 0.22222314275400137,
              "C": 0.028102719464462304,
              "FA": 0.7214649122864883,
              "GA": 0.008833476344463836,
              "Start": 0.017699431000825352,
              "Stub": 0.0016763181497590444
            }
          }
        }
      },
      "485104318": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.9870402772858909,
              "attack": 0.0006854267347843173,
              "spam": 0.010405615745053554,
              "vandalism": 0.0018686802342713132
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "Stub",
            "probability": {
              "B": 0.02035853144725939,
              "C": 0.021257471714087376,
              "FA": 0.0018133076388221472,
              "GA": 0.003447287158958823,
              "Start": 0.1470443252839051,
              "Stub": 0.8060790767569672
            }
          }
        }
      }
    }
  }
}
 

Result


Example query: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

{
  "wikidatawiki": {
    "models": {
      "damaging": {
        "version": "0.3.0"
      }
    },
    "scores": {
      "421063984": {
        "damaging": {
          "score": {
            "prediction": false,
            "probability": {
              "false": 0.9947809563336424,
              "true": 0.005219043666357669
            }
          }
        }
      }
    }
  }
}
 

Result


EventStream usage

The ORES scores are also provided as an EventStream at https://stream.wikimedia.org/v2/stream/revision-score

Local usage

To run ORES locally you can install ORES by:

pip install ores # needs to be python3, incompatible with python2

Then you should be able to run it through :

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging

You should see output of

017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}
 

Result


Footnotes