MinT

MinT（機器輔助翻譯）是基於開放原始碼的神經機器翻譯模型開發的機器翻譯服務。 該服務托管於維基媒體基金會的基礎設施，运行其他組織發布的開源協議翻譯模型。 開放的機器翻譯服務是打造自由知識生態系统的重要基礎設施的關鍵環節。 此頁面會介紹擴大服務適用範圍方面的舉措。

您可以在個別專案如 translatewiki.net 和安裝內容翻譯功能的專案中試用 MinT 功能，也可以直接在測試實例中使用。

關於 MinT

MinT 採用多個機器翻譯模型提供語言翻譯。 初始版本使用的模型如下：

• NLLB-200。這是 Meta 研究團隊的 No Language Left Behind project 提供的最新模型。 此模型支援 200 種語言翻譯，包括多種其他同類模型支援範圍以外的語言。
• OpusMT。赫爾辛基大學的 OPUS (Open Parallel Corpus) project 集合了多門語言的自由協議內容，用以訓練 OpusMT 翻譯模型。 人人都可以透過參與給 OPUS 提供資料的專案，提升翻譯品質。 例如，使用內容翻譯功能建立維基百科條目的翻譯時，已發布的譯文的資料會成為下一版模型提升翻譯品質的新資源。 此外，向 Tatoeba 提供翻譯例句也有助於改善翻譯品質。
• IndicTrans2。IndicTrans2 專案提供的翻譯模型支援 20 多種印度語言。 這些模型開發於印度理工學院馬德拉斯校區的 AI4Bharat 實驗室。
• Softcatalà。Softcatalà 是非營利組織，力圖改進加泰蘭文在數位產品中的應用。 該組織提供的翻譯器服務使用的翻譯模型支援 10 種語言與加泰蘭文間的互譯，是 Softcatalà 翻譯專案的一部分，現已公開發布。
• MADLAD-400. MADLAD-400 is a multilingual machine translation model by Google Research that supports 419 languages.

MinT 支援 200 多種語言，包括 50 多種其他同類服務不支援的語言（其中有 27 種維基百科尚未支援的語言）。 您可以進一步了解 MinT 的最初發布版本，並在服務的簡介頁面查看一些常見問題。

技術細節

翻譯模型使用 OpenNMT Ctranslate2 程式庫進行了效能最佳化，以減少 GPU 加速需求。 這讓組織與個人更容易建立並執行自己的實例。 如需更多詳情，請查看原始程式碼、API 明細以及測試樣品。

MinT 提供執行多個翻譯模型的平臺。 為了支援各種情況，語句分節、語言偵測、內容的預先/後期處理以及富文字支援等方面優先於純文字模型開發。

參與其中

歡迎隨時在討論頁面分享意見回饋。 Phabricator 收集了各種改進計畫(更多資訊)，您可以回報錯誤行為或提供改進方案、追蹤工作進度並分享個人觀點。 您也可以在下方查看成品的狀態情報。

譯者用 MinT

在行動裝置使用 MinT 翻譯

在維基媒體生態系統中，掌握多門語言的使用者經常透過翻譯的手段貢獻內容。 機器翻譯可以為使用者提供有參考價值的譯文，經審核與改進後即可實際使用。 編輯流程中提供了語言團隊開發的翻譯工具，可整合各種機器翻譯服務的譯文，提升翻譯效率。 MinT 功能推出後，自然要將其與這些工具整合，以進一步增強輔助功效。 支援 MinT 功能的有以下幾個專案：

• 內容翻譯。內容翻譯功能協助指引將維基百科條目翻譯為另外一種語言。 內容翻譯功能整合多個翻譯服務以提供初始翻譯建議。
• 當地語系化基礎建設。翻譯功能提供用於翻譯我們的軟體和多語言頁面的基礎建設。 翻譯者社群會在translatewiki.net、維基媒體元維基、MediaWiki.org 等網站使用這些基礎建設。

維基百科讀者用 MinT

于Phabricator查看
任务T341196

讀者可以從維基百科上了解的話題數量與資訊量取決於他們掌握的語言。 機器翻譯可以協助人們在他們不掌握的語言中了解感興趣的話題。

此方案探討了如何在維基百科條目中呈現 MinT 的機器翻譯協助，以便：

• 讓讀者可以從其他語言中進一步了解感興趣的話題
• 明確區分社群建立的內容和自動產生的內容。
• 鼓勵使用者在能力範圍內為社群建立更多內容。

語言團隊此時正在進行專案的設計與研發工作，尋找在維基百科上呈現 MinT 的最好方式，並對服務在此場合的實用進行技術探索。

擴大 MinT 適用範圍

研究先前的方案有助於改善與加強系統。 目前，MinT API 僅支援維基媒體產品。 系統就緒後，我們將考慮擴大支援範圍。 为社群提供能够以創新方式使用的服務亦是为社区提供強大助力。 未來，這裡會介绍更多有关擴大 MinT 適用範圍方面的新举措。 屆時，請隨時設定並試驗自己的 MinT 实例。

狀態情報

2024年2月

• Adjusted translation limits for Punjabi after community request to make them less strict due to improved quality of machine translation.
• Research on MinT for Wikipedia Readers is complete. Two reports were published at the research page
• multi-model support for the MinT test instance. Allowing communities supported by multiple translation models to try, compare assess the quality to determine which one works the best.

2024年1月

• Infrastructure updates to benefit from newer Python versions.

2023年12月

• A new larger instance has been created for the MinT. Memory quota has been increased to accommodate the needs for MinT as the usage and models available increase.

• New design concepts for exposing MinT to Wikipedia readers have been created based on the input from initial research. Multilingual prototypes have been updated to learn from the new concepts in the next round of research .
• Adjusted exposure of MinT in the translate extension to avoid showing translation suggestions for contents with wikitext markup

2023年11月

• Better wikitext support by improving error handling when MinT processes wikitext.
• Completed Research plan is complete and started research sessions.
• Explored New advanced API for sentence segmentation to support needs for EditCheck use case and others.
• Improved responsiveness of the MinT test instance by avoiding some translation requests to get stuck.
• MinT was set as the default translation service in Content Translation for Kurdish (ku) and Sesotho (st), languages where it is optional but frequently used.
• A new larger instance has been created for the MinT. Memory quota has been increased to accommodate the needs for MinT as the usage and models available increase.
• New design concepts for exposing MinT to Wikipedia readers have been created based on input from the initial round of research.
• Published report analyzing usage of machine translation services

2023年10月

• MinT is now supported in Content Translation for Fon, a Wikipedia that graduated recently from incubator.
• Announced sentencex library: sentencex: Empowering NLP with Multilingual Sentence Extraction - A python and js library to meet the needs of sentence segmentation for all the languages we support.
• Proposed model card for language identification as part of the creation of a LiftWing service to provide those capabilities for MinT and others.

• The new sentence segmentation approach has been exposed in Content and Section Translation to validate it with real contents. Resolved community-reported issues such as the problems translating court cases.
• MinT test instance provides consistent language names with Wikipedia by using Wikipedia APIs instead of the limited browser localization capabilities.

• Launched the Language Identification service to automatically detect in which language is written a given text. The service supports the detection of 201 languages, and anyone can access the API to use the service or read the model card for more details. Machine Learning team completed the last checks after deploying to LiftWing and evaluating that the service can "easily withstand a high amount of traffic".
• Basic support for rich text translation by supporting transferring of markup to apply styling such as words in bold from the source text into the equivalent ones in the machine translation (which lacks format since translation models operate with plain-text).
• Completed the process to enable MinT for languages with no Wikipedia yet . Translation models in MinT support 25 languages for which there is no Wikipedia. These can be tested in MinT's test instance for speakers of those languages to assess quality, and ensures that translation tools are well-equipped once wikis are created for those languages (as it has been the case with the recent graduation of Fon Wikipedia out of incubator).
• Completed the process to enable MinT for closely-related languages based on Community input . For some languages where machine translation is not available, Wikipedia editors have asked to have access to machine translation in Content Translation using a related language instead of having no support at all. With this enablement translators of Gan (gan) Wikipedia will have machine translation based on the traditional script variant of Chinese as a starting point.

• Analysis of translation activity on 55 languages for which MinT provides machine translation for the first time shows how (a) translations have increased 2X since MinT is available, and (b) deletion rates have not increased. Activity levels for these 55 wikis changed from ~500 translations/month, to 1K+ translations/month after MinT was enabled. For example, a recent peak of 2.15K translations were published in August 2023 when MinT was available for those languages, which is a significant increase from 225 translations in August 2022 when MinT was not available for them.
• Better visibility of translation quality by including a tag in translations where unedited machine translation is close to the limits. This will facilitate analysis about translation quality and limits.

• Created prototypes for upcoming research illustrating 5 concepts on how MinT can be used by Wikipedia readers and supporting the 4 languages we will conduct research in: Hindi, Chattisgarhi, Awadhi, and Korean.
• Improvements for MinT to process more predictably contents with new lines in them.

2023年9月

• 已完成最初的設計探索，闡述如何呈現機器翻譯自其他語言的維基百科條目的 5 個概念
• 已為利古里亞語的內容翻譯功能啟用 MinT，以應社群請求對 MinT 和搭配 NLLB-200 模型即可支援的最後 14 種語言的進一步說明。
• 已於測試 Wiki 為可翻譯頁面啟用 Mint 功能
• 已為 7 個支援 MinT 功能的維基百科於行動端與桌面端預設啟用 MinT 功能，擴大 MinT 功能的適用範圍（切羅基文、湯加文、匈牙利文、哈薩克文, 吉爾吉斯文、米南佳保文與薩丁尼亞文）。
• 已驗證 MinT 功能使用的翻譯模型支援的所有語言，進一步完成啟用新的翻譯服務前的最終質保。
• 桑托什出席第十次亞洲翻譯研討會，強調機器翻譯需要通用、免費，需要支援更多語言。 發言得到了出席者的認可。
• 已基於對於維基百科使用 MinT 功能的研究初稿，啟動研究計畫
• 繼續探索應用於（深層模型使用的）非純文字格式的機器翻譯技術，以支援維基百科語境：新改良的語句分節方法（可於示範頁面試用）讓辨識不同語言的語句之末更準確，並提供了不定情況下避免分割的設定選項（推薦機器翻譯時啟用，以避免分裂譯文語境，如將外文縮略詞後加的點誤認為句點）。

2023年8月

• 成功探索了 MinT 功能翻譯 HTML、SVG 與 Markdown 等格式化文字的使用方式。
• 已淘汰有道翻譯，該外部翻譯服務早已不可用。
• 繼續探索 MinT 于維基百科的設計，新更新了個工作流程的回饋。
• 已確認新的 OpusMT 模型最有益於哪些語言
• 已將 MinT 設定為內容功能翻譯中祖魯文的預設翻譯服務

2023年7月

• 已為 75 種新語言啟用搭載 MinT 的機器翻譯功能（與社群交流功能），其中62 種語言支援行動端翻譯。根據機譯使用報告與/或社群回饋，有 13 種語言的翻譯品質可能優於其他同類服務。
• 確認了先前啟用的博杰普爾語和拉脫維亞語不支援 MinT 功能的問題起因：維基百科、MinT 和底層翻譯模型使用的語言代碼不一致。
• 初次探索將 MinT 功能整合至維基百科的方法的設計與原型
• 已改進 Mint 譯文的後加工處理，避免在句號後加入多餘的空格，更好的支援使用阿拉伯文字的語言。
• 已確認 IndicTrans2 模型支援的 23 種語言，完成整合。
• 首次對支援 MinT 功能的維基百科社群進行初步活動分析，以確定未來研究可以早期適用的測試用 Wiki。
• 於 translatewiki.net 啟用 MinT 功能，用以維基媒體及其他開源專案的當地語系化工作。