Parsoid/it



Parsoid is a library that allows for converting back and forth between wikitext and HTML. The original application was written in JavaScript (using Node.js) and started running on the Wikimedia cluster in December 2012. In 2019, Parsoid was ported to PHP, and the PHP version replaced the JS version on the Wikimedia cluster in December 2019. Parsoid is being integrated into core MediaWiki, with the goal of eventually replacing MediaWiki's current native parser.

Parsoid (the PHP version) has been natively bundled with MediaWiki since version 1.35, released in September 2020. For non-Wikimedia installations, Parsoid/JS was supported until the end-of-life of MediaWiki 1.31 (LTS) in September 2021.

Technical details
Parsoid is an application which can translate back and forth between MediaWiki's wikitext syntax and an equivalent HTML/RDFa document model with enhanced support for automated processing and rich editing.

It has been under development by a team at the Wikimedia Foundation since 2012. It is currently used extensively by, , and other applications.

Parsoid is intended to provide flawless back-and-forth conversion, i.e. to avoid information loss and also prevent "dirty diffs".

On Wikimedia wikis, for several applications, Parsoid is currently proxied behind, which stores the HTML translated by Parsoid. It is expected that RESTBase will eventually be replaced with a cache more tightly integrated with MediaWiki.

For more on the overall project, see this blog post from March 2013. To read about the HTML model being used, see MediaWiki DOM spec.

Parsoid was originally structured as a web service and written in JavaScript, making use of. A tech talk from February 2019 (slides) and blog post describes the process of porting it to PHP. The Parsoid extension API is currently under active development; a tech talk from August 2020 describes this work.

 GitHub Repository:  https://github.com/wikimedia/parsoid

Usage

 * - List of releases made for Parsoid
 * - for the web API
 * - to make sense of the HTML that you get from the API, designed to be useful as a future storage format
 * - notes on Parsoid's implementation of

Installation
In MediaWiki 1.35 LTS Parsoid/PHP is included in the bundle and loaded automatically by Visual Editor. No configuration necessary if used on a single server.

If you are a developer working on 1.36, explicitly loading Parsoid is required since August 24, 2020 (the auto-load hack was removed in 1.36-wmf.6). Add to LocalSettings.php:

This is expected to change for the release of 1.36.

Development
Development happens in the. Code review happens in Gerrit. See Gerrit/Getting started to set up an account for yourself.

If you use the development environment using a virtual machine, you can simply add the role   to it and it will set up a working Parsoid along with. (This may have been broken by the switch to Parsoid/PHP: T258940)

Note that the most-recently released version of Parsoid is written in PHP, and installation of Parsoid/PHP is what is described below. This is what you should use if you are running MediaWiki 1.35 or later. Check Parsoid/JS if you are running the old version of Parsoid written in JavaScript, and used for MW 1.34 and earlier.

Linking a developer checkout of Parsoid
In a standard MediaWiki installation, Parsoid code is bundled in two different ways: first, Parsoid is included from MediaWiki as a composer library,. This contains the main codebase, but does not contain the REST API used by VisualEditor and RESTBase. In order to enable the REST API, the extension code included in the Parsoid library can be loaded with a call to  in your.

For development purposes you usually want to use a git checkout of Parsoid, and not the version bundled in MediaWiki core as a composer library. The following lines added to allow use of a git checkout of Parsoid (optionally), load the Parsoid REST API with  (rather than using the version bundled in VisualEditor) and manually do the Parsoid configuration which is usually done by VisualEditor:

These lines are not necessary for most users of VisualEditor, who can use auto-configuration and the bundled Parsoid code included in MediaWiki 1.35 and VisualEditor, but they will be required for most developers.

If you're serving MediaWiki with Nginx, you'll need to also add something like this in your server block (Assuming your MediaWiki setup has its files residing in ):

Per verificare la corretta configurazione, visitare  dove  è il nome dell'host in. (Si noti che i server WMF di produzione non espongono l'API REST di Parsoid alla rete esterna).

Running the tests
Per eseguire tutti i test del parser e i test di Mocha:

I test del parser hanno ora un gran numero di opzioni, che possono essere elencate usando.

Se la variabile d'ambiente  punta a un'installazione di MediaWiki configurata, è possibile eseguire alcuni test aggiuntivi con:

Converting simple wikitext
È possibile convertire semplici frammenti di wikitext dalla riga di comando utilizzando lo script  nella directory  :

echo 'Foo' | php bin/parse.php

Lo script parse ti dà un sacco di opzioni. ti offre iformazioni riguardo questo.

Debugging Parsoid (for developers)
Vedi per consigli sul debugging.



Integrazione Continua
A partire da ottobre 2021

Parsoid è sempre disponibile come libreria, poiché è una dipendenza del nucleo di MediaWiki. Ma due pezzi non sono abilitati:


 * Parsoid ServiceWiring
 * API REST esterna di Parsoid

Il test runner Quibble lo abilita se rileva che  è stato clonato come parte della compilazione. In questo caso:


 * punta l'autoloader per  al codice clonato (sostituendo di fatto la versione installata da composer)
 * Carica l'estensione

Il ServiceWiring dovrebbe essere abilitato in MediaWiki a partire dalla versione 1.38.

Teoricamente l'API REST non verrebbe mai fusa in MediaWiki: a) non è mai stata esposta al pubblico in produzione, è un'API interna usata da RESTBase che sta per scomparire; b) non è mai stata sottoposta a controlli di sicurezza e c) è ridondante con l'API MediaWiki aziendale. La soluzione sarà che VisualEditor invochi Parsoid direttamente tramite l'API di azione di VisualEditor, risparmiando un viaggio di andata e ritorno attraverso l'API REST.

Il caricamento dell'estensione è quindi un hack che consente di utilizzare interfacce soggette a modifiche e che non vogliamo che vengano ancora utilizzate.

Per la maggior parte degli scopi, parsoid non dovrebbe quindi essere aggiunto come dipendenza di CI; l'unica eccezione, a partire da ottobre 2021, è l'estensione MediaWiki Disambiguator.

Caricare parsoid come estensione ci permette di eseguire test di integrazione di MediaWiki con  (come Quibble, apitesting) e di assicurarci che Parsoid e MediaWiki funzionino insieme.

Un'estensione può essere in grado di scrivere test con Parsoid anche quando il repository non è stato clonato. Poiché è una dipendenza da MediaWiki core, lo spazio dei nomi  è disponibile, ma la parte di cablaggio del servizio non lo è (è   nel repository Parsoid ed è esposto come spazio dei nomi  ). Il  codice esegue i test del parser solo se è stato caricato Parsoid (che dovrebbe essere l'impostazione predefinita con MediaWiki 1.38).

Per l'IC, Parsoid è testato contro la punta di mediawiki, mentre mediawiki è testato con la dipendenza dal composer. In caso di rottura, la modifica di Parsoid viene fusa per prima (il che rompe il suo CI ma non quello di MediaWiki) e MediaWiki viene modificato quando Parsoid viene aggiornato. Si tratta quindi di un cambiamento a senso unico.



Politiche di rilascio
Per le release di MediaWiki, abbiamo un'integrazione di Parsoid ServiceWiring in VisualEditor, in modo che VisualEditor funzioni senza ulteriori configurazioni (a parte ). La build di rilascio abilita anche l'API REST e aggancia tutto in modo che parsoid funzioni subito. Questo viene fatto copiando un pezzo del codice parsoid dentro VisualEditor il quale non si trova nel master di VisualEditor, poiché sarebbe obsoleto non appena Parsoid verrà aggiornato. Il codice viene invece viene conservato in due posti.

Technical documents

 * Parsoid/Internals: documentation about Parsoid internals with links to other details.
 * PHP Porting notes and help-wanted tasks
 * Parsoid deployment agenda on Wikimedia cluster (code normally deployed every Monday and Wednesday between 1pm - 1:30pm PST)
 * Parsoid/Round-trip testing: The round-trip testing setup we are using to test the wikitext -> HTML DOM -> wikitext round-trip on actual Wikipedia content.
 * Parsoid/Visual Diffs Testing: Info about visual diff testing for comparing Parsoid's html rendering with php parser's html rendering + a testreduce setup for doing mass visual diff tests.
 * Parsoid/limitations: Limitations in Parsoid, mainly contrived templating (ab)uses that don't matter in practice. Could be extended to be similar to the preprocessor upgrade notes (Might need updating)
 * Parsoid/Bibliography: Bibliography of related literature

Links for Parsoid developers

 * See Parsoid/Debugging for debugging tips.
 * Upgrading or adding packages to Parsoid
 * See these instructions for syncing Parsoid's copy of parser tests to/from core
 * Parsoid has a limited library interface for invoking it programatically.
 * Tech Talk about Retargeting extensions to work with Parsoid
 * So you want your extension to work with Parsoid
 * Parsoid HTML Specification Versioning
 * So you are going to change Parsoid output

Links for Parsoid deployers (to the Wikimedia cluster)

 * Parsoid/Deployments
 * RT testing commits (useful to check regressions and fixes)
 * Deployment instructions for Parsoid
 * Kibana dashboard
 * Grafana dashboard for wt2html metrics
 * Grafana dashboard for html2wt metrics
 * Grafana dashboard for non-200 responses
 * Prometheus breakdown for the Parsoid cluster on eqiad
 * Prometheus breakdown for the Parsoid cluster on codfw
 * Jenkins Job Builder docs for updating jenkins jobs

Contact
If you need help or have questions/feedback, you can contact us in or the wikitext-l mailing list. If all that fails, you can also contact us by email at parsing-team at the wikimedia.org domain.