Content translation/Machine Translation/Yandex/ru

Поддержка машинного перевода (МП) в инструменте "Перевод содержания" (ContentTranslation) была расширена. До сих пор Апертиум (Apertium) была единственной системой машинного перевода в этом инструменте, обслуживая 20 языков. Начиная с 4 ноября, система МП Яндекс.Переводчик доступна участникам Русской Википедии и может использоваться при переводе страниц Википедии с английского языка на русский инструментом Перевод содержания. Так как эта система перевода пользуется популярностью среди участников Русской Википедии, добавка Яндекс.Переводчика уже запрашивалась.

Яндекс.Переводчик разрабатывается Яндексом - российской компанией интернет-услуг. С конца 2014-го года юридический отдел фонда Викимедиа работал вместе с Яндексом над соглашением, позволяющем использование Яндекс.Переводчика без нарушения политики Википедии об отнесении прав, частной информации наших участников и представления марок. Условия соглашения даны далее, и мы будем рады услышать любые вопросы от вас об этой услуге.

Основные особенности

 * Никакая личная информация Яндексу не посылается. Соединение с системой МП производится через существующий API через ключ. Содержание статей (под свободной лицензией) посылается на серверы Яндекса с серверов Фонда Викимедиа. Никакой прямой связи между участником и внешними услугами не производится, и никакая личная информация (IP, имя участника) на серверы Яндекса не посылается. Код клиентного программного обеспечения, соединяющегося с серверами Яндекса, открыт, и вы можете прочесть его здесь. Никакая часть услуг или кода Яндекса не станет частью инфраструктуры Викимедиа или кода ContentTranslation.
 * Информация возвращается из Яндекса под свободной лицензией. Когда используются услуги Яндекса, они дают переведённую версию содержания Википедии под свободной лицензией. Участники могут изменять его и публиковать его как часть Википедии без каких-либо несоответствий с существующими правилами. Содержание, переведённое Яндексом, и все изменения, сделанные участниками, будут доступны под той же лицензией, которая используется для остальных статей Википедии.
 * Польза сообществу перевода с помощью свободного программного обеспечения. Переводы, созданные Яндексом, и изменения, сделанные участниками, будут доступны всем. Поправленные переводы очень полезны сообществу исследователей технологий перевода, так как они могут использовать этот ресурс для создания новых услуг перевода для поддержки языков, для которых ещё нет МП на свободном ПО. Это поможет разработчикам создавать и улучшать системы перевода.
 * Участники могут выключать эту услугу. Автоматический перевод даётся как необязательный дополнительный инструмент к ContentTranslation. У участников будет возможность выключить его, если он им не нужен. Хотя многие участники русского сообщества просили включить эту услугу, каждый участник сможет сам решить, хочет ли он использовать её или нет.



Обязательства Яндекса

 * Дать бесплатную лицензию на ключ API Фонду Викимедиа, чтобы дать добровольцам на сайтах Викимедии возможность переводить статьи
 * Позволить добровольцам переводить до десяти миллионов знаков в день (намного больше, чем обычное дозволенное количество)
 * Давать Викимедии статистические данные о количестве знаков в посланных запросах

Обязательства Фонда Викимедиа

 * Давать доступ к версиям переведённого текста, поправленным добровольцами, чтобы Яндекс смог улучшить свою систему
 * Не будут передаваться никакие личные данные переводчиков
 * Сейчас в запросе Яндексу посылается только оригинальное содержание текста для перевода, его язык и язык, на который делается перевод
 * Переводы, опубликованные переводчиками, с помощью машинного перевода или без него, будут даны в форме параллельного корпуса интерфейсaми ContentTranslation. Эти интерфейсы будут разработаны постепенно, и их результаты будут доступны всем желающим, а не только Яндексу.

Важные замечания

 * Всё содержание будет под лицензией CC BY-SA 3.0
 * Яндекс не требует никакого "брeндинга" на сайтах Викимедиа, кроме обозначения "Яндекс.Переводчик" как инструмента МП в выпадающем меню в интерфейсе перевода
 * Не будет передачи личной информации добровольцев
 * Соглашение ограничено одним годом, после чего наши нужды будут пересмотрены
 * Мы можем отменить соглашение по любой причине, в любое время (с предупреждением в 30 дней)
 * Соглашение управляется по закону США

Вопросы об этой услуге
Ниже мы ответили на основные вопросы о Яндексе.

'''Какие языки будут переводиться Яндексом? Есть ли планы добавить другие?''' Услуга Яндекса будет доступна сейчас только для перевода с английского на русский, для участников, которые будут создавать страницы в Русской Википедии через ContentTranslation. Хотя Яндекс предоставляет перевод на более чем 60 языков, у нас нет немедленных планов включить его для других пар языков. Несмотря на это, мы готовы слышать запросы от других сообществ Википедии, желающих сделать Яндекс доступным для своих языков.

Чем использование Яндекса отличается от использования Апертиума? Как пользователь Перевода содержания вы не почувствуете никакой разницы в интерфейсе перевода, так как система МП Яндекса будет показывать переведённое содержание так же, как показывает его Апертиум для нынешних 45 пар языков.

Как делается машинный перевод, если я выбираю Яндекс? Яндекс поставляет бесплатный ключ API, позволяющий сайтам и другим услугам использовать их систему перевода. Перевод содержания тоже использует собственный ключ API для доступа к услуге на сервере Яндекса. Когда участник начинает переводить статью, содержание статьи в HTML каждого абзаца переводимой статьи посылается на сервер Яндекса и переведённая версия прибывает и отображается в колонке перевода. Ссылки и сноски приспосабливаются как обычно, и участники могут менять содержание как им требуется.

Этот процесс продолжается для каждого переводимого параграфа. Для улучшения производительности перевод следующего параграфа извлекается заранее. Участник может сохранить неопубликованный перевод (чтобы продолжить работу позже) или опубликовать статью как обычно. Статья публикуется в Википедии так же, как любая другая обычная статья, с соответствующими указаниями авторства и лицензиями.

Вы можете увидеть диаграмму процесса здесь: ссылка на диаграмму

'''Яндекс не основан на свободном программном обеспечении. Почему мы используем его?''' Перевод содержания развился из давней нужды сократить разрыв между количеством содержания в Википедиях на разных языках. Как и всё программное обеспечение на сайтах Викимедиа, код инструмента Перевода содержания тоже свободен. Mы используем открытый клиент для подсоединения к внешней услуге и импортировать свободно лицензированное содержание, чтобы помогать участниках расширять свободные знания.

Чтобы использовать систему МП Яндекса, мы не добавляем никакого несвободного программного обеспечения в код Перевода содержания или на сайты или серверы Викимедии. Услуга бесплатна и доступна всем.

На сервер Яндекса посылается только свободное содержание статей Википедии, по одному параграфу, и полученное содержание может свободно использоваться на страницах Википедии. Переведённое содержание может быть изменено участниками, и эти данные доступны под свободной лицензией через API перевода содержания. Это ценный ресурс, предоставляемый сообществу для разработки открытых услуг перевода для языков, где их ещё нет.

После тщательного изучения последствий мы нашли, что тот факт, что содержание было в услуге, код которой закрыт, не ограничивает свободу наших знаний или нашего программного обеспечения в настоящем или в будущем. Мы особенно постарались удостовериться, что передаваемое нам содержание свободно лицензировано, чтобы быть уверенными, что оно соответствует правилам Википедии. Это был долгий процесс юридической оценки и проверки соответствия. Также доступно краткое содержание условий.

Из общения с участниками мы видели, что поддержка МП очень помогает им, и мы хотим поддерживать все языки как можно лучше. По принципам решения Фонда Викимедиа поддерживать свободное открытое ПО, мы предпочтём внедрять услуги с открытым кодом когда они доступны для языка. Апертиум был и остаётся ценнейшей частью Перевода содержания, но в настоящее время в нём есть машинный перевод только на 45 языках, из многих возможных комбинаций языков, которые используются в Википедии.

Стоит ли мне беспокоиться о моей личной информации, когда я использую Яндекс? Неважно, какой услугой перевода вы пользуетесь, вы можете быть уверены, что посылается только содержание статей Википедии и что в перевод будет добавлено только свободно лицензированное содержание. Никакая личная информация не посылается, и связь с этими услугами происходит на стороне сервера, и всё это изолировано от устройства, которое использует участник. Вы можете обратиться к этой диаграмме для получения дополнительной информации.

Что, если Яндекс — это единственная услуга машинного перевода, и я не хочу ею пользоваться? Машинный перевод - необязательная к использованию часть инструмента Перевод содержания, которую вы можете с лёгкостью выключить. Если для вашего языка будут включены другие системы перевода, вы можете включить машинный перевод и выбрать другую услугу.

Будет ли содержание, переведённое Яндексом, свободно используемым в Википедии? Да. Содержание, полученное от Яндекса можно свободно использовать на платформе перевода Яндекса. Перевод содержания получает его через ключ API чтобы сделать его доступным прямо в интерфейсе перевода. Это содержание можно править (если нужно) и использовать в статьях Википедии в соответствии с условиями свободных лицензий.

Может ли это содержание быть использовано для улучшения систем машинного перевода вообще? Да. Переводы, сделанные в Переводе содержания, сохраняются в нашей базе данных. Эта информация будет общедоступна для всех, кто желает использовать её как примеры перевода для улучшения услуг перевода (от исследовательских групп в университетах и проектов свободного ПО до коммерческих компаний, для всех!). Содержание доступно через Программный интерфейс Перевода содержания (Content translation API). Пожалуйста обратите внимание на то, что общедоступна только информация о переведённом тексте. Это включает исходный текст, переведённый текст, исходный язык, язык перевода и идентификатор сегмента текста.