Приложения Викимедии/Команда/Android/Машинно-генерируемые описания статей
 | This project is completed. See the team's page for ongoing work, Wikimedia Apps/Team/Android. |
Предыстория проекта
С 2017 года мобильное приложение Википедии на платформе Android предоставляет функционал для создания кратких описаний статей. В 2019 году команда запустила инструмент, позволяющий зарегистрированным пользователям приложения добавлять краткие описания. Для ознакомления с актуальным статусом инструмента «Предлагаемые правки», используемого для добавления кратких описаний, перейдите по ссылке.
Since 2017, the Wikipedia Android app has offered pathways for adding short descriptions. In 2019, the team released a short description adding tool to app users that are logged in. You can read more about the current state of the Suggested Edits tool for adding Short Descriptions here.
В марте 2022 года в ответ на отзывы пользователей англоязычной Википедии, особенно от новичков, о необходимости улучшения качества кратких описаний своих статей, команда Android разработала и расширила возможности редакторов по редактированию кратких описаний.
В мае 2022 года исследовательская группа Федеральной политехнической школы Лозанны (EPFL), разработала машинную модель под названием Descartes для генерации кратких описаний статей Википедии. После независимого тестирования модели Descartes, EPFL предложила Фонду Викимедиа использовать эту технологию для помощи википедистам в создании кратких описаний статей. Учитывая запросы на повышение качества кратких описаний, особенно от начинающих редакторов, команда Android рассмотрела возможность внедрения машинно-генерируемых предложений с использованием модели Descartes, но только в том случае, если инструмент даст такие же многообещающие результаты при работе с википедистами, как и в ходе первоначального тестирования, проведённого EPFL. After testing the Descartes model independently, EPFL reached out to the Wikimedia Foundation offering the model to Wikipedians to aid editors in the creation of article short descriptions. With consideration of requests to improve the quality of short descriptions, especially from new editors, the Android team determined that it could offer machine suggestions using the Descartes model to support users, if and only if the Descartes tool yielded similar promising results with Wikipedians that it did in EPFL’s initial testing.
В период с января по апрель 2023 года команда разработчиков создала пользовательский интерфейс и внесла необходимые изменения для интеграции модели Descartes, одновременно внедрив механизмы защиты от возможных рисков. Затем, с середины мая по середину июня 2023 года, была развёрнута модифицированная версия модели. Эта версия модели, доступная пользователям в приложении для Android, включала в себя систему контроля качества. Более того, автоматически сгенерированные предложения были скрыты за специальной функцией, требующей от пользователей нажатия для просмотра. После этого пользователи могли либо выбрать одно из предложенных описаний, либо самостоятельно составить краткoe описание. The version of the model users saw in the Android app included quality controls. Additionally, suggestions were concealed behind an affordance where users had to actively click to view machine suggestions then decide to leverage one or manually type out their short description.
В конце июня эта функция была деактивирована в приложении. С середины июня до конца июля команда Android обратилась к различным языковым сообществам с предложением выступить в роли оценщиков и наблюдателей за правками, внесёнными с помощью инструмента в ходе эксперимента. Добровольцы, откликнувшиеся на призыв о поддержке через электронную рассылку в Википедии, приняли участие в эксперименте в качестве оценщиков. Опытные редакторы оценивали контент, опубликованный редакторами приложений в ходе эксперимента, который включал как предложения, сгенерированные машиной, так и краткие описания, созданные человеком. Добровольцам было предложено исправить любые ошибки. Процесс оценки, проводимый добровольцами, завершился в начале августа 2023 года. In Mid June thru the end of July, the Android team conducted outreach to various language communities inviting them to serve as graders and patrollers for the edits produced through the tool during the experiment duration. Volunteers that responded to the call for support via onwiki email participated in the experiment as evaluators. Experienced editors evaluated what app editors published during the experiment time with machine suggestions, in conjunction with human generated short descriptions. Volunteers were encouraged to revert errors. Volunteer grading ended in early August 2023.
После предварительного изучения полученных данных команда пришла к выводу, что имеется достаточно оснований для перемещения модели Descartes из временного размещения на Cloud VPS в LiftWing для постоянного хостинга. Тщательный анализ данных, проведённый аналитиком нашей команды совместно с исследовательской группой EPFL, подтвердил надёжность результатов. Было принято решение о постоянном внедрении модифицированной версии модели в приложение в качестве рекомендательного инструмента для редакторов. Однако это будет реализовано только после получения одобрения от языковых сообществ и проведения дополнительных сессий для определения возможности дальнейшего усовершенствования модели с целью повышения её эффективности в помощи редакторам при создании более качественных кратких описаний. After more in-depth data analysis from our team’s data analyst, our research team and the EPFL research team, we felt confident enough in the results to offer the a modified version of the model permanently in the app as suggestions to human editors, only after approval from language communities and having sessions to understand if further changes could be made to improve the model to meet its intended purpose of supporting editors with writing higher quality short descriptions.
Текущий статус
По состоянию на август 2024 года мы представили результаты эксперимента, детально описали модификации, внесённые в облачную версию модели для повышения её эффективности, и предоставили рекомендации касательно целесообразности внедрения этой функции языковым сообществом. С сентября по ноябрь 2024 года планируется проведение информационных сессий для обсуждения с командой разработчиков Android потенциальных усовершенствований и выявления заинтересованности сообществ во внедрении данной функции. Несмотря на наличие рекомендаций о потенциальной пользе этой функции, основанных на полученных данных, окончательное решение о её внедрении полностью зависит от членов языкового сообщества. Мы осознаём, что подходы к кратким описаниям варьируются в разных языковых сообществах, и что процесс обеспечения статей краткими описаниями развивался на протяжении многих лет. В связи с этим мы придерживаемся подхода, основанного на тесном взаимодействии с сообществами. We will be conducting outreach in September 2024 through November 2024 to inform the Android product team of what further improvements can be made and if communities would like to adopt the feature. While we have recommendations of if the feature might be useful based on data, adoption is a decision left solely to language community members. We recognize short descriptions are handled differently across language communities and steps towards ensuring articles have short descriptions over the years have evolved, which is why we are taking a community by community outreach approach.