ORES

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page ORES and the translation is 93% complete.

Outdated translations are marked like this.
Other languages:
English • ‎español • ‎français • ‎italiano • ‎polski • ‎português do Brasil • ‎русский • ‎中文 • ‎日本語 • ‎한국어

ORES/ɔɹz/, Objective Revision Evaluation Service,客观修订评估服务)是一个具有机器学习即服务并由评分平台团队维护的为维基媒体项目提供的网络服务和API。该系统为自动化关键的维基工作而设计——例如破坏的检测和删除。当前ORES生成的两种一般类型的分数是基于“编辑质量”和“文章质量”。

ORES是一个后端服务,它并不会直接提供一个使用该分数的方式。如果您要使用ORES分数,请见使用ORES分数的工具列表。如果您的维基仍不支持ORES,请参见如何申请支持

要查找您有关ORES的问题的回答么?请查阅我们的ORES常见问题

编辑质量

ORES编辑质量流。从“互联网”不断到达维基百科的编辑的描述图,之前质量为“未知”,而经过ORES后被分为“良好”、“待查”和“破坏”标签。

维基媒体开放项目的一个最关键的问题是检查可能存在破坏性的贡献(“编辑”)。同时也需要判定(不经意间造成破坏的)善意贡献者并给予其帮助。该模型的目的是让从Special:RecentChanges摘要的过滤工作更加容易。我们提供两个级别的编辑质量预测模型支持——基本和高级。

基本支持

假定最具破坏性的编辑会被回退,而具有建设性的编辑不会被reverted(回退),我们可以根据一个维基的编辑历史(和回退历史)来建立模型。这个模型易于建立,但仍面临很多回退编辑并非由于破坏的问题。为了解决这个问题,我们建立了一个基于不良词汇的模型

  • reverted ─ 用于预测一个编辑是否可能最终被回退。

高级支持

除了假设以外,我们可以让编辑者训练ORES来使其决定哪些编辑确实是damaging(破坏性的),而哪些编辑应该是goodfaith(善意的)。这需要社区志愿者额外的工作,但能对编辑质量提供更精准更细微的预测。很多工具只有在高级支持可用时才能在一个目标维基工作。

  • damaging ─ 预测一个编辑是否是破坏性的
  • goodfaith ─ 预测一个编辑是否是善意保存的


文章质量

英语维基百科鉴定表。该截图是由WP 1.0机器人生成的鉴定表。

百科全书文章的质量是维基人们核心的关注点。新页面必须被检查审核来保证垃圾信息、破坏和攻击性的文章不会存留在维基上。对于那些通过初审的文章,一些维基人会定期评估文章质量,但这需要极大的劳动力并且评估结果往往会过期。

质量审核支持

有问题的文章和草稿越快被移除越好。审核新创建的页面可以花费大量的精力。就如同编辑中反破坏的问题一样,机器预测有助于优先关注最有问题的新页面。根据管理员删除页面时(见logging表)写下的留言,我们可以训练一个模型来用于预测需要快速删除的页面。中文维基的快速删除方针请参见维基百科:快速删除方针。对于中文模型,我们使用G3 “纯粹破坏”(也适用于人身攻击)、G11 “广告宣传”G12 “无来源且负面的生者传记”

  • draftquality ─ 预测一篇文章是否需要被快速删除(广告/破坏/攻击/OK)

等级评估支持

对于初审通过的文章,一些规模较大的维基百科会定期用大致相当于英语维基百科1.0(“wp10”)的标准评估文章质量。这些评定非常有用,因为有助于衡量进步过程并抓住错过的机会(比如低质量的文章)。然而保持这些评定的时效性很有难度,所以覆盖范围也不一致。这种情况下wp10机器学习模型就派上用场了。通过训练一个模型来模仿人类评估文章质量的过程,我们可以让计算机自动评估每篇文章和每个编辑。该模型已经被用于维基项目分流重估工作并探索提升文章质量的编辑机制。

wp10模型将其预测打基础于条目的结构特征上。例如这里有多少章节?有信息框么?多少个参考资料?这些参考资料使用{{cite}}模板么?但wp10模型不评估写作质量,或是否有语气问题(例如推翻某种观点)。然而,多数条目的结构特征看起来强有力地与好的写作和语气相关联,所以模型在实践中工作越来越好。

  • wp10 ─ 预测一篇文章或草稿的(维基百科1.0类)评估等级

支持列表

下表显示ORES在各维基的支持状态和可用模块。如果您没有看到您的维基在此列表内,或者您的维基没有您想使用的模块,您可以申请支持

Current support: https://tools.wmflabs.org/ores-support-checklist/

API使用

ORES提供具象状态传输的API服务来动态获取每个编辑的分数信息。若要了解如何使用该API,请参见 https://ores.wikimedia.org

如果需要用此服务查询大量的编辑,建议每次以50个编辑来批量请求,如下所述。可以接受最多4个并行请求,對於更多的查詢,您可以在本地執行ORES。

查询示例: http://ores.wmflabs.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318


Example query: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

Local usage

To run ORES locally you can install ORES by

pip install ores # needs to be python3, incompatible with python2

Then you should be able to run it through

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org enwiki damaging

You should see output of