Help:Extension:Translate/Translation memories/de

Der Übersetzungsspeicher unterstützt ElasticSearch. Diese Seite soll dich bei der Installation von ElasticSearch unterstützen und dir die Spezifikationen detailliert erklären.

Im Gegensatz zu anderen Übersetzungshilfen wie maschinellen Übersetzungsdienstleistungen wird der Übersetzungsspeicher permanent durch neue Übersetzungen in deinem Wiki aktualisiert. Über die erweiterte Suche Special:SearchTranslations kannst du Übersetzungen durchsuchen, wenn du ElasticSearch verwendest.

Vergleich
Standardmäßig wird das Backend der Datenbank genutzt: es hat keine Abhängigkeiten und muss nicht konfiguriert werden. Das Datenbank-Backend kann nicht unter mehreren Wikis geteilt werden und erreicht keine großen Mengen übersetzter Inhalte. Daher unterstützen wir auch ElasticSearch als Backend. Es ist auch möglich, den Übersetzungsspeicher eines anderen Wikis zu nutzen, wenn dessen Web-API offen ist. Im Gegensatz zu ElasticSearch werden Remote-Backends nicht mit Übersetzungen des aktuellen Wikis aktualisiert.

Anforderungen


ElasticSearch-Backend
ElasticSearch kann relativ einfach aufgesetzt werden. Wenn es nicht in deinem Paket enthalten ist, kannst du es von ihrer Webseite erhalten. Außerdem benötigst du die Elastica-Erweiterung. Abschließend siehe bitte für die spezifische Konfiguration, die für die Übersetzungserweiterung erforderlich ist.

Das Bootstrap-Skript wird die nötigen Schemas erstellen. Wenn du das ElasticSearch-Backend mit mehreren Wikis teilst, werden sie sich den Übersetzungsspeicher standardmäßig teilen, außer du setzt in der Konfiguration den Index-Parameter.

Wenn du auf die nächste große Version von ElasticSearch aktualisierst (z.B. Update von 2.x auf 5.x), wird unbedingt empfohlen, die Veröffentlichungshinweise und die Dokumentation im Hinblick auf den Aktualisierungsprozess zu lesen.

Installation
Nachdem du die Anforderungen festgelegt hast, erfordert die Installation, dass du die Konfiguration anpasst und dann den Bootstrap ausführst.

Konfiguration
Alle Übersetzungshilfen, die Übersetzungsspeicher nutzen, werden über die Konfigurationsvariable konfiguriert.

Das Hauptübersetzungsspeicher-Backend muss den Schlüssel  nutzen. Das Haupt-Backend erhält Übersetzungsaktualisierungen und wird von Special:SearchTranslations genutzt.

Beispielkonfiguration eines TTMServers:

Mögliche Schlüssel und Werte sind:

Derzeit wird nur MySQL für das Datenbank-Backend unterstützt.

Hochfahren
Wenn du ElasticSearch ausgewählt und die Anforderungen und die Konfiguration gesetzt hast, führe  aus, um den Übersetzungsspeicher zu bootstrappen. Bootstrapping ist auch erforderlich, wenn du das Übersetzungsspeicher-Backend änderst. Wenn du ein gemeinsames Übersetzungsspeicher-Backend für mehrere Wikis nutzt, musst du jedes einzeln bootstrappen.

Seiten mit vielen Übersetzungen sollten erwägen, mehrere Threads mit dem -Parameter zu nutzen, um die Geschwindigkeit des Prozesses zu erhöhen. Die Dauer hängt stark davon ab, wie vollständig die Vollständigkeitsstatistik der Nachrichtengruppen ist (unvollständige werden während des Bootstrappings errechnet). Neue Übersetzungen werden automatisch über eine Hook hinzugefügt. Neue Quellen (Nachrichtendefinitionen) werden hinzugefügt, wenn die erste Übersetzung erstellt wird.

Bootstrap bewirkt folgende Dinge, die sonst nicht erfolgen:
 * Hinzufügen und Aktualisieren des Übersetzungsspeicher-Schemas;
 * Befüllen des Übersetzungsspeichers mit vorhandenen Übersetzungen;
 * Entfernen ungenutzter Übersetzungseinträge durch das Leeren und Neubefüllen des Übersetzungsspeichers.

Wenn die Übersetzung einer Nachricht aktualisiert wird, wird die vorherige Übersetzung aus dem Übersetzungsspeicher entfernt. Wenn jedoch Übersetzungen gegen eine neue Definition aktualisiert werden, wird ein neuer Eintrag hinzugefügt und die alte Definition und ihre Übersetzung bleiben in der Datenbank erhalten, bis diese aktualisiert wird. Wenn sich die Definition einer Nachricht ändert oder sie aus allen Nachrichtengruppen entfernt wird, passiert zunächst nichts. Eine Übersetzung als fuzzy zu speichern, fügt keine neue Übersetzung hinzu und löscht keine alte aus dem Übersetzungsspeicher.



TTMServer-API
Wenn du deinen eigenen TTMServer-Dienst implementieren möchtest, findest du hier die Spezifikationen.

Abfrageparameter:

Dein Dienst muss folgende Parameter entgegennehmen:

Dein Service muss ein JSON-Objekt anbieten, das einen Schlüssel  mit einem Bereich von Objekten haben muss. Diese Objekte müssen die folgenden Daten enthalten:

Beispiel:


 * URL: http://translatewiki.net/w/api.php?action=ttmserver&sourcelanguage=en&targetlanguage=fi&text=january&format=jsonfm
 * Antwort:



Datenbankunterbau
Das Backend enthält drei Tabellen:,   und. Diese entsprechen Quellen, Zielen und Volltext. Du kannst die Tabellendefinitionen in  finden. Die Quellen enthalten alle Nachrichtendefinitionen. Obwohl sie normalerweise alle in der gleichen Sprache, beispielsweise Englisch, gespeichert werden, wird die Sprache des Textes für seltene Fälle, in denen dies nicht so ist, ebenfalls gespeichert.

Jeder Eintrag hat eine einzigartige ID und zwei zusätzliche Felder, Länge und Kontext. Die Länge wird gewöhnlich als erster Filter genutzt, sodass wir bei einer Abfrage den Text, den wir suchen, nicht mit allen Einträgen der Datenbank abgleichen müssen. Der Kontext speichert den Titel der Seite, aus der der Text stammt, beispielsweise "MediaWiki:Jan/en". Über diese Information können wir die Vorschläge auf "MediaWiki:Jan/de" verlinken, was es Übersetzern ermöglicht, schnell Fehler zu beheben oder festzustellen, wo diese Übersetzung genutzt wurde.

Die zweite Filterung erfolgt dann über die Volltextsuche. Die Definitionen werden über einen Ad-hoc-Algorithmus gemischt. Zunächst wird der Text über MediaWikis  in Segmente (Wörter) aufgeteilt. Wenn es genügend Segmente gibt, wird alles entfernt, bei dem es sich nicht um Buchstaben handelt und normalisiert. Dann werden die ersten fünf Wörter ausgewählt, die mindestens 5 Bytes lang sind (5 Buchstaben in Englisch, jedoch wesentlich kürzere Wörter in Sprachen mit mehrere Bytes umfassenden Codepunkten). Diese Wörter werden dann im Volltext-Index für die zukünftige Filterung längerer Zeichenketten gespeichert.

Nachdem wir die Kandidatenliste gefiltert haben entnehmen wir der Zielwert-Tabelle die passenden Ziele. Dann wenden wir den Levenshtein-Bearbeitungsdistanz-Algorithmus an, um die finale Filterung und die Sortierung der Ergebnisse vorzunehmen. Lass uns definieren:


 * E: Bearbeitungsentfernung
 * S: der Text, für den wir Vorschläge suchen
 * Tc: der Vorschlagstext
 * To: der originale Text, dessen Übersetzung Tc ist

Die Qualität des Vorschlags Tc wird berechnet als E/min(length(Tc),length(To)). Abhängig von der Länge der Zeichenketten nutzen wir: entweder die normale PHP-Levenshtein-Funktion; oder wenn die Zeichenketten länger als 255 Bytes sind, die PHP-Implementierung des Levenshtein-Algorithmus. Es wurde nicht getestet, ob die normale Levenshtein-Implementierung Multibyte-Zeichen korrekt verarbeitet. Dies kann eine weitere Schwachstelle sein, wenn die Ausgangssprache nicht Englisch ist (die anderen sind die Volltextsuche und die Segmentierung).