MinT

From mediawiki.org
This page is a translated version of the page MinT and the translation is 94% complete.

MinT (Machine in Translation - „Překladatelský nástroj”) je služba, založená na open-source neurálních překladatelských modelech, která překladatelům nabízí strojový překlad. Je hostována v rámci infrastruktury Wikimedia Foundation a pracuje překlady, které vyprodukovaly jiné organizace pod některou z otevřených open source licencí. Strojový překlad, který staví na textech bez licenčního omezení, tak může být klíčovým prvkem základní infrastruktury ekosystému pro svobodné šíření znalostí. Tato stránka zahrnuje iniciativy, které mají vést k rozšíření této služby a její infrastruktury tak, aby mohla být dostupná v nejširším měřítku.

MinT je už součástí různých projektů, jako např. Překlad obsahu (Content translation), či translatewiki.net, kde si můžete vyzkoušet jak se s ním pracuje. Ale také si ho můžete vyzkoušet přes testovací stránku.

Technologie MinT

MinT je navržen tak, aby nabízel překlady, které jsou výsledkem zpracování několika modelů strojového překladu. V současné době používá následující modely:

  • NLLB-200. Je nejnovější model strojového překladu. Jeho základem je No Language Left Behind project vývojářského týmu z Meta wiki. Tento model podporuje překládat texty mezi 200 jazyky, mezi nimiž je i řada jazyků, které nikdo jiný nepodporuje.
  • OpusMT. Jeho základem se stal OPUS (Open Parallel Corpus) project univerzity v Helsinkách. Obsah multijazyčných stránek, publikovaných pod svobodnou licencí, se využívá ke trénování modelu OpusMT. Každý tak může snadno být nápomocen při zlepšování kvality překladu tím, že zpřístupní své projekty, a tak přispěje k dalšímu rozšíření databáze se kterou pracuje OPUS. Takovým způsobem se například využijí překlady článků Wikipedie, které se tak stanou novým zdrojem dat, co umožní zlepšit kvalitu překladu u následujících verzí tohoto modelu díky tomu, že do něj začlení data, založená na publikovaných překladech. Velice rychle a efektivně můžete přispět také tím, že nahrajete své překlady vět na server Tatoeba.
  • IndicTrans2. Projekt IndicTrans2 nabízí modely, které podporují překlad mezi více než 20 jazyků, z těch co se jimi hovoří v Indii. Za jeho vývojem je výzkumná skupina AI4Bharat@IIT z Indian Institute of Technology v Madrase.
  • Softcatalà. Je nezisková organizace, jejíž cílem je implementace katalánštiny do různých digitálních produktů. V rámci jejich projektu s názvem Softcatalà Translation, vytvořili překladové modely, které umožňují v rámci jejich překladatelské služby využívat překladu z a do katalánštiny pro dalších 10 jazyků.
  • MADLAD-400. MADLAD-400 is a multilingual machine translation model by Google Research that supports 419 languages.

MinT podporuje více než 200 jazyků, včetně více než 70 jazyků, které žádné jiné služby nepodporoují. A 27 z nich nemá zatím ani vlastní instanci Wikipedie. Podrobnější informace naleznete v článku věnovaném počátečnímu vydání MinT, a na stránce věnované této službě, kde naleznete také sekci, ve které jsou odpovědi i na několik často kladených otázek.

Technické podrobnosti

Překladové modely byly optimalizovány pro výkon pomocí OpenNMT Ctranslate2 knihovny, aby se vyhnulo potřebě akcelerace GPU. To usnadňuje organizacím a jednotlivcům vytvářet a provozovat vlastní instance. Další podrobnosti naleznete ve zdrojovém kódu, specifikaci API a testovací instanci.

MinT poskytuje platformu pro provozování více překladatelských modelů. Za účelem podpory různých iniciativ byly nad modely založené na prostém textu vyvinuty aspekty jako větná segmentace, detekce jazyka, před/po zpracování obsahu a podpora bohatého formátu.

Zapojte se

Neváhejte se podělit o jakoukoli zpětnou vazbu na stránce diskuze. Plánovaná vylepšení jsou zachycena ve Phabricatoru (více informací nejdete zde), můžete nahlásit špatné chování nebo navrhnout vylepšení funkcí, sledovat průběh jakéhokoli úkolu a sdílet svůj pohled na něj. Pro dokončenou práci můžete také zkontrolovat aktualizace stavu níže.

MinT pro překladatele

Mobilní překlad pomocí MinT

Překlad je běžný způsob, jak přispívat do ekosystému Wikimedie pro vícejazyčné uživatele. Strojový překlad může uživatelům poskytnout užitečný počáteční překlad ke kontrole a vylepšení. Jazykový tým vyvinul nástroje na podporu překladů ve svých pracovních postupech, které mohou integrovat různé služby strojového překladu a urychlit jejich procesy. Jakmile byl MinT dostupný, jeho integrace s těmito nástroji byla dalším logickým krokem k zesílení jejich dopadu. MinT je k dispozici v následujících projektech:

MinT pro čtenáře Wikipedie

Počet témat a množství informací, o kterých se čtenář může z Wikipedie dozvědět, závisí na jazycích, kterými mluví. Strojový překlad může lidem pomoci dozvědět se více o tématech, která je zajímají, když obsah není dostupný v jejich jazyce.

Tato iniciativa zkoumá, jak zpřístupnit podporu strojového překladu od MinT v článcích Wikipedie způsobem, který:

  • Umožňuje čtenářům dozvědět se více o tématech zájmu z jiných jazyků
  • Jasně odlišuje automaticky generovaný obsah od obsahu vytvořeného komunitou.
  • Pokud je to možné, vybízí k přispívání k obsahu vytvořenému komunitou.

V současné době jazykový tým pracuje na návrhu a výzkumných aspektech projektu, aby identifikoval nejlepší způsoby, jak zpřístupnit MinT na Wikipedii, a technické průzkumy, aby služba fungovala v tomto kontextu.

MinT dostupnější

Práce na předchozích iniciativách pomůže vylepšit a zpevnit systém. Prozatím je MinT API dostupné pouze pro produkty Wikimedie. Až se systém připraví, zvážíme širší expozici. Poskytování služby, kterou mohou komunity využívat inovativním způsobem, může být velmi mocným nástrojem. V budoucnu zde budou zachyceny nové iniciativy k širší dostupnosti MinT. Mezitím si můžete nakonfigurovat vlastní instanci MinT a experimentovat s ní.

Aktualizace stavu

února 2024

ledna 2024

prosince 2023

listopadu 2023

října 2023

  • Launched the Language Identification service to automatically detect in which language is written a given text. The service supports the detection of 201 languages, and anyone can access the API to use the service or read the model card for more details. Machine Learning team completed the last checks after deploying to LiftWing and evaluating that the service can "easily withstand a high amount of traffic".
  • Basic support for rich text translation by supporting transferring of markup to apply styling such as words in bold from the source text into the equivalent ones in the machine translation (which lacks format since translation models operate with plain-text).
  • Completed the process to enable MinT for languages with no Wikipedia yet . Translation models in MinT support 25 languages for which there is no Wikipedia. These can be tested in MinT's test instance for speakers of those languages to assess quality, and ensures that translation tools are well-equipped once wikis are created for those languages (as it has been the case with the recent graduation of Fon Wikipedia out of incubator).
  • Completed the process to enable MinT for closely-related languages based on Community input . For some languages where machine translation is not available, Wikipedia editors have asked to have access to machine translation in Content Translation using a related language instead of having no support at all. With this enablement translators of Gan (gan) Wikipedia will have machine translation based on the traditional script variant of Chinese as a starting point.
  • Analysis of translation activity on 55 languages for which MinT provides machine translation for the first time shows how (a) translations have increased 2X since MinT is available, and (b) deletion rates have not increased. Activity levels for these 55 wikis changed from ~500 translations/month, to 1K+ translations/month after MinT was enabled. For example, a recent peak of 2.15K translations were published in August 2023 when MinT was available for those languages, which is a significant increase from 225 translations in August 2022 when MinT was not available for them.
  • Better visibility of translation quality by including a tag in translations where unedited machine translation is close to the limits. This will facilitate analysis about translation quality and limits.

září 2023

srpna 2023

července 2023