Manual:Job queue/fr

Avec MediaWiki 1.6, une file d'attente des travaux (ou job queue en anglais) a été introduite pour réaliser les tâches longues de manière asynchrone. La file d’attente des tâches est conçue pour contenir beaucoup de tâches courtes en utilisant le traitement par lots (batch).

Installation
Par défaut, les tâches sont exécutées à la fin des requêtes web. Lorsque c'est possible, il est recommandé de désactiver ce comportement par défaut en mettant $wgJobRunRate à, et à la place, de mettre en file d'attente via la ligne de commande, l'exécution des tâches complètement en tâche de fond. Par exemple, vous pouvez utiliser cron pour effectuer des tâches tous les jours à minuit, en entrant dans votre fichier crontab ceci :

Warning: Running jobs once a day like that could be very problematic for consistency and responsiveness -- you should instead run jobs as soon as possible after they are queued, using a wrapper script that waits for jobs to be queued and runs the appropriate job runners.

@FIXME: detail the actual wrappers Wikimedia uses in production to run jobs.

Note: you should run  as the same user as the web server runs as, to ensure that permissions to the filesystem are correctly accounted for if jobs touch uploaded files.

Simple service to run jobs
If you have shell access and the possibility to create init scripts, you can create a simple service to run jobs as they become available, and also throttle them to prevent the job runner to monopolize the CPU resources of the server:

Create a bash script, for example at :

Depending on how fast the server is and the load it handles, you can adapt the number of jobs to run on each cycle and the number of seconds to wait on each cycle.

Make the script executable.

If using systemd, create a new service unit by creating the file. Change the  parameter to the user that runs PHP on your web server:

Enable it and start it with those commands:

Exécution de tâches lors des requêtes de pages
Par défaut, à la fin de chaque requête web, une tâche est retirée de la file d'attente des tâches et exécutée. Ce comportement est contrôlé par la variable de configuration $JogRunRate. En mettant cette variable à, une tâche sera exécutée à chaque requête. En mettant cette variable à, l’exécution des tâches sera désactivée complètement durant les requêtes de pages, pour que vous puissiez à la place, exécuter manuellement ou périodiquement  à partir de la ligne de commande.

Lorsqu’elles sont activées, les tâches sont exécutées en ouvrant une socket et en faisant une requête HTTP interne à une page spéciale non-listée: Special:RunJobs. Voir aussi la section asynchronous.

Problématique de la performance
Du point de vue des performances, la surcharge due au lancement des tâches après chaque requête web est trop grande mais vous ne pouvez pas exécuter les tâches à partir de la ligne de commande; vous pouvez réduire à un nombre entre   et. Cela signifie qu'une tâche sera exécutée en moyenne toutes les  requêtes.

Utilisation manuelle
Il y a aussi un moyen de vider manuellement le planificateur de tâches, par exemple après avoir changé un modèle présent sur de nombreuses pages. Exécutez simplement le script de maintenance. Par exemple :

Asynchrone
La variable de configuration a été ajoutée pour forcer l'exécution des tâches de manière synchrone, dans les scénarii où il n'était pas souhaité de faire une requête HTTP interne pour exécution de ces tâches.

When running jobs asynchronously, it will open an internal HTTP connection for handling the execution of jobs, and will return the contents of the page immediately to the client without waiting for the job to complete. Sinon, la tâche s'exécutera dans le même processus et le client devra attendre qu'elle se termine. When the job does not run asynchronously, if a fatal error occurs during job execution, it will propagate to the client, aborting the load of the page.

Note that even if $wgRunJobsAsync is set to true, if PHP can't open a socket to make the internal HTTP request, it will fallback to the synchronous job execution. However, there are a variety of situations where this internal request may fail, and jobs won't be run, without falling back to the synchronous job execution. Au début avec MediaWiki 1.28.1 et 1.27.2, $wgRunJobsAsync maintenant la valeur par défaut est « false ».

Mises à jour différées
Le mécanisme de mises à jour différées (deferred updates en anglais) a été introduit dans MediaWiki 1.23 et a connu des changements majeurs dans MediaWiki 1.27 et 1.28. Il permet l’exécution de certaines fonctionnalités à la fin de la requête, lorsque tout le contenu a été envoyé au navigateur, plutôt que des ajouter dans un travail (job) qui pourrait potentiellement être exécuté plusieurs heures après. Le but de ce mécanisme alternatif est principalement d’accélérer les requêtes MediaWiki, et en même temps d’exécuter certaines fonctionnalités dès que possible à la fin de la requête.

Quelques mises à jour différées peuvent être à la fois des mises à jour différées et des travaux, si spécifié comme tel.

Modifications introduites en MediaWiki 1.22
In, the job queue execution on each page request was changed so, instead of executing the job inside the same PHP process that's rendering the page, a new PHP cli command is spawned to execute  in the background. It will only work if is set to an actual path or safe mode is off, otherwise, the old method will be used.

Cette nouvelle manière d'exécuter pourrait causer certains problèmes :


 * Si est initialisé avec une version incompatible de PHP (par exemple, une version obsolète) les tâches peuvent voir leur exécution échouer (corrigé en 1.23).
 * les restrictions PHP sur  sont effectives, et  n'est plus autorisé (, corrigé en 1.23).
 * Performance: even if the job queue is empty, the new PHP process is started anyway (, fixed in 1.23).
 * Sometimes the spawning PHP process cause the server or only the CLI process to hang due to stdout and stderr descriptors not properly redirected (, fixed in 1.22)
 * It does not work for shared code (wiki farms), because it doesn't pass additional required parameters to runJobs.php to identify the wiki that's running the job (, fixed in 1.23)
 * Normal shell limits like, and  are enforced on the runJobs.php process that's being executed in the background.

There's no way to revert to the old on-request job queue handling, besides setting to , for example, which may cause other problems. It can be disabled completely by setting, but jobs will no longer run on page requests, and you must explicitly run runJobs.php to periodically run pending jobs.

Modifications introduites en MediaWiki 1.23
In MediaWiki 1.23, the 1.22 execution method is abandoned, and jobs are triggered by MediaWiki making an HTTP connection to itself.

It was first designed as an API entry point but later changed to be the unlisted special page Special:RunJobs.

While it solves various bugs introduced in 1.22, it still requires loading a lot of PHP classes in memory on a new process to execute a job, and also makes a new HTTP request that the server must handle.

Modifications introduites en MediaWiki 1.27
In MediaWiki 1.25 and MediaWiki 1.26, use of would sometimes cause jobs not to get run if the wiki has custom   configuration. This was fixed in MediaWiki 1.27.

Modifications introduites en MediaWiki 1.28
Between MediaWiki 1.23 and MediaWiki 1.27, use of would cause jobs not to get run on if MediaWiki requests are for a server name or protocol that does not match the currently configured server name one (e.g. when supporting both HTTP and HTTPS, or when MediaWiki is behind a reverse proxy that redirects to HTTPS). This was fixed in MediaWiki 1.28.

Modifications introduites en MediaWiki 1.29
Dans MediaWiki 1.27.0 à 1.27.3 et 1.28.0 à 1.28.2, lorsque est configuré à une valeur supérieure à 0, l’erreur suivante peut apparaître dans les journaux d’erreur ou sur la page :

PHP Notice: JobQueueGroup::__destruct: 1 buffered job(s) never inserted

Quelques pages spéciales peuvent ne plus être mises à jour dans certains cas, des catégories peuvent plus être mises à jour sur les pages de catégories, ou les modifications récentes peuvent afficher des liens vers des pages supprimées, même si vous exécutez pour vider la file d’attente. Ce bug a été rapporté et corrigé dans 1.27.4 et 1.28.3.

Mettre à jour la table des liens quand un modèle est modifié
MediaWiki 1.6 ajoute une tâche dans la file pour chaque article qui utilise un modèle modifié. Chaque tâche va lire l'article, substituer les modèles et modifier la table des liens en conséquence. Les modifications consistant à sauver une page sans en modifier le contenu (null edit) ne sont plus nécessaires, mais cela peut prendre un certain temps pour les modèles très utilisés.

Invalidation du cache HTML
Une plus grande classe d'opérations consiste en l'invalidation du cache HTML pour un grand nombre de pages :


 * Modifier une image (toutes les miniatures seront mises à jour)
 * Suppression d'une page (tous les liens vers cette page passeront du bleu au rouge)
 * Création ou restauration d'une page (l'inverse du cas précédent)
 * Modifier un modèle (toutes les pages contenant ce modèle devront être mises à jour)

À l'exception des modifications de modèles, toutes ces opérations ne modifient pas la table des liens, mais elles invalident le cache HTML de toutes les pages liées. Invalider un cache est rapide, l'opération ne requiert la modification que d'un champ dans la base de données et l'envoi de requêtes de purge aux serveurs Squid si utilisés. Mais s'il y a ainsi plus de 1 000 pages, cela prend un certain temps. Par défaut, un tâche est ajoutée toutes les 300 opérations (voir )

Transcodage audio et vidéo
When using TimedMediaHandler to process local uploads of audio and video files, the job queue is used to run the potentially very slow creation of derivative transcodes at various resolutions/formats.

These are not suitable for running on web requests -- you will need a background runner.

It's recommended to set up separate runners for the  and   job types if possible. These two queues process different subsets of files -- the first for high resolution HD videos, and the second for lower-resolution videos and audio files which process more quickly.

Valeurs typiques
Pendant les périodes de faible affluence, la file peut être vide. Chez Wikimedia, la file n'est en pratique jamais vide. Pendant les heures creuses, elle peut avoir entre une centaine et quelques milliers de tâches. Mais pendant une journée chargée, elle peut atteindre plusieurs millions de tâches.

Voir l'état de la file d'attente
Up to MediaWiki 1.16, the job queue value was shown on Special:Statistics. Depuis la version 1.17, cela n'est plus visible dans les statistiques, il faut passer par l'API.

The number of jobs returned in the API result may be slightly inaccurate when using MySQL, which estimates the number of jobs in the database. This number can fluctuate based on the number of jobs that have recently been added or deleted. For other databases that do not support fast result-size estimation, the actual number of jobs is given.