Manuel:File d’attente des travaux

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page Manual:Job queue and the translation is 100% complete.

Other languages:
Bahasa Indonesia • ‎Deutsch • ‎English • ‎Tiếng Việt • ‎français • ‎italiano • ‎polski • ‎русский • ‎中文 • ‎日本語

Avec MediaWiki 1.6, une file d'attente des travaux (ou job queue en anglais) a été introduite pour réaliser les tâches longues de manière asynchrone. La file d’attente des tâches est conçue pour contenir beaucoup de tâches courtes en utilisant le traitement par lots (batch).

Installation

Par défaut, les tâches sont exécutées à la fin des requêtes web. Lorsque c'est possible, il est recommandé de désactiver ce comportement par défaut en mettant $wgJobRunRate à 0, et à la place, de mettre en file d'attente via la ligne de commande, l'exécution des tâches complètement en tâche de fond. Par exemple, vous pouvez utiliser cron pour effectuer des tâches tous les jours à minuit, en entrant dans votre fichier crontab ceci :

0 0 * * * /usr/bin/php /var/www/wiki/maintenance/runJobs.php > /var/log/runJobs.log 2>&1

Warning: Running jobs once a day like that could be very problematic for consistency and responsiveness -- you should instead run jobs as soon as possible after they are queued, using a wrapper script that waits for jobs to be queued and runs the appropriate job runners.

@FIXME: detail the actual wrappers Wikimedia uses in production to run jobs.

Note: you should run runJobs.php as the same user as the web server runs as, to ensure that permissions to the filesystem are correctly accounted for if jobs touch uploaded files.

Simple service to run jobs

If you have shell access and the possibility to create init scripts, you can create a simple service to run jobs as they become available, and also throttle them to prevent the job runner to monopolize the CPU resources of the server:

Create a bash script, for example at /usr/local/bin/mwjobrunner:

#!/bin/bash
# Put the MediaWiki installation path on the line below
IP=/home/www/www.mywikisite.com/mediawiki
RJ=$IP/maintenance/runJobs.php
echo Starting job service...
# Wait a minute after the server starts up to give other processes time to get started
sleep 60
echo Started.
while true; do
	# Job types that need to be run ASAP mo matter how many of them are in the queue
	# Those jobs should be very "cheap" to run
	php $RJ --type="enotifNotify"
	php $RJ --type="htmlCacheUpdate" --maxjobs=50
	# Everything else, limit the number of jobs on each batch
	# The --wait parameter will pause the execution here until new jobs are added,
	# to avoid running the loop without anything to do
	php $RJ --wait --maxjobs=10
	# Wait some seconds to let the CPU do other things, like handling web requests, etc
	echo Waiting for 10 seconds...
	sleep 10
done

Depending on how fast the server is and the load it handles, you can adapt the number of jobs to run on each cycle and the number of seconds to wait on each cycle.

Make the script executable (chmod 755).

If using systemd, create a new service unit by creating the file /etc/systemd/system/mw-jobqueue.service. Change the User parameter to the user that runs PHP on your web server:

[Unit]
Description=MediaWiki Job runner

[Service]
ExecStart=/usr/local/bin/mwjobrunner
Nice=10
ProtectSystem=full
User=php-fpm
OOMScoreAdjust=200
StandardOutput=journal

[Install]
WantedBy=multi-user.target

Enable it and start it with those commands:

sudo systemctl enable mw-jobqueue
sudo systemctl start mw-jobqueue
sudo systemctl status mw-jobqueue


Exécution de tâches lors des requêtes de pages

Par défaut, à la fin de chaque requête web, une tâche est retirée de la file d'attente des tâches et exécutée. Ce comportement est contrôlé par la variable de configuration $JogRunRate. En mettant cette variable à 1, une tâche sera exécutée à chaque requête. En mettant cette variable à 0, l’exécution des tâches sera désactivée complètement durant les requêtes de pages, pour que vous puissiez à la place, exécuter manuellement ou périodiquement runJobs.php à partir de la ligne de commande.

Version de MediaWiki : 1.23

Lorsqu’elles sont activées, les tâches sont exécutées en ouvrant une socket et en faisant une requête HTTP interne à une page spéciale non-listée: Special:RunJobs. Voir aussi la section asynchronous.

Problématique de la performance

Du point de vue des performances, la surcharge due au lancement des tâches après chaque requête web est trop grande mais vous ne pouvez pas exécuter les tâches à partir de la ligne de commande; vous pouvez réduire $wgJobRunRate à un nombre entre 1 et 0. Cela signifie qu'une tâche sera exécutée en moyenne toutes les 1 / $wgJobRunRate requêtes.

$wgJobRunRate = 0.01;

Utilisation manuelle

Il y a aussi un moyen de vider manuellement le planificateur de tâches, par exemple après avoir changé un modèle présent sur de nombreuses pages. Exécutez simplement le script de maintenance maintenance/runJobs.php . Par exemple :

/path-to-my-wiki/maintenance$ php ./runJobs.php

Historique

Asynchrone

La variable de configuration $wgRunJobsAsync a été ajoutée pour forcer l'exécution des tâches de manière synchrone, dans les scénarii où il n'était pas souhaité de faire une requête HTTP interne pour exécution de ces tâches.

L'exécution de tâches en asynchrone ouvrira une connexion HTTP interne pour gérer leur exécution, et retournera immédiatement au client le contenu de la page, sans attendre la fin de la tâche. Sinon, la tâche s'exécutera dans le même processus et le client devra attendre qu'elle se termine. Quand la tâche ne s'exécute pas en asynchrone, si une erreur fatale arrive pendant son exécution, elle va se propager jusqu'au client, ce qui fera échouer le chargement de la page.

Notez que même si $wgRunJobsAsync est mis à true, si PHP ne peut pas ouvrir de socket pour faire la requête interne HTTP, il se repliera vers l'exécution synchrone de la tâche. Néanmoins, il existe une variété de cas où cette requête interne peut échouer, et que les tâches ne soient pas exécutées, sans qu'il y ait un repli vers l'exécution synchrone. Au début avec MediaWiki 1.28.1 et 1.27.2, $wgRunJobsAsync maintenant la valeur par défaut est « false ».

Mises à jour différées

Le mécanisme de mises à jour différées (deferred updates en anglais) a été introduit dans MediaWiki 1.23 et a connu des changements majeurs dans MediaWiki 1.27 et 1.28. Il permet l’exécution de certaines fonctionnalités à la fin de la requête, lorsque tout le contenu a été envoyé au navigateur, plutôt que de les ajouter dans un travail (job) qui pourrait potentiellement être exécuté plusieurs heures après. Le but de ce mécanisme alternatif est principalement d’accélérer les requêtes MediaWiki, et en même temps d’exécuter certaines fonctionnalités dès que possible à la fin de la requête.

Quelques mises à jour différées peuvent être à la fois des mises à jour différées et des travaux, si spécifié comme tel.

Modifications introduites en MediaWiki 1.22

Dans MediaWiki 1.22 , l'exécution de la file d'attente des tâches à chaque demande de page a été modifiée ainsi (Gerrit change 59797), au lieu d'exécuter la tâche à l'intérieur du même processus PHP qui est en train d'en faire la génération, une nouvelle commande PHP cli est démarrée pour exécuter runJobs.php en tâche de fond. Cela ne fonctionnera que si $wgPhpCli est initialisé avec un chemin actuel ou si le mode sécurisé est à off, sinon l'ancienne méthode sera utilisée.

Cette nouvelle manière d'exécuter pourrait causer certains problèmes :

  • Si $wgPhpCli est initialisé avec une version incompatible de PHP (par exemple, une version obsolète) les tâches peuvent voir leur exécution échouer (corrigé en 1.23).
  • les restrictions PHP sur open_basedir sont effectives, et $wgPhpCli n'est plus autorisé (task T62208, corrigé en 1.23).
  • Performance: même si la file des tâches est vide, le nouveau processus PHP est démarré dans tous les cas (task T62210, corrigé en 1.23).
  • Quelquesfois le processus PHP de créatiion de tâches fait que le serveur ou seulement le processus CLI se bloque parce que les descripteurs stdout et stderr n'ont pas été redirigés correctement (task T60719, corrigé en 1.22)
  • Cela ne fonctionne pas pour le code partagé (fermes wiki) parce que qu'il ne passe pas les paramètres requis additionnels à runJobs.php pour identifier le wiki qui est en train d'exécuter la tâche (task T62698, corrigé en 1.23)
  • les limites normales du shell telles que $wgMaxShellMemory , $wgMaxShellTime et $wgMaxShellFileSize sont appliquées sur le processus runJobs.php qui s'exécute en tâche de fond.

Il n'existe aucun moyen de revenir à l'ancienne gestion à la demande de la file d'attente des tâches, en plus de fixer par exemple $wgPhpCli à false, ce qui pourrait poser d'autres problèmes (task T63387). Ceci peut être complètement désactivé en positionnant par exemple $wgJobRunRate = 0;, mais les tâches ne se lanceront plus lors des demandes de pages, et vous devez explicitement exécuter runJobs.php pour exécuter périodiquement les tâches en attente.

Modifications introduites en MediaWiki 1.23

Pour MediaWiki 1.23, la méthode d'exécution de 1.22 est abandonnée, et les tâches sont gérées par MediaWiki qui se génére une connection HTTP à lui-même.

Il a d'abord été implémenté comme un point d'entrée d'API (Gerrit change 113038) mais ensuite est devenu la page spéciale non listée Special:RunJobs (Gerrit change 118336).

Alors qu'il corrige divers bogues introduits en 1.22, il nécessite encore le chargement de nombreuses classes PHP en mémoire sur un nouveau processus pour exécuter une tâche, et fait également une nouvelle requête HTTP que le serveur doit gérer.

Modifications introduites en MediaWiki 1.27

Dans MediaWiki 1.25 et MediaWiki 1.26, l'usage de $wgRunJobsAsync fait que les tâches quelquefois ne se lancent pas lorsque le wiki a une configuration $wgServerName personnalisée. Ceci est corrigé dans MediaWiki 1.27. task T107290

Modifications introduites en MediaWiki 1.28

Entre MediaWiki 1.23 et MediaWiki 1.27, l'usage de $wgRunJobsAsync fait que quelquesfois les tâches ne se lancent pas si les requêtes MediaWiki concernent un serveur ou un protocole qui ne correspond pas au nom de celui qui est configuré actuellement (c'est à dire lorque HTTP and HTTPS sont tous deux supportés, ou quand MediaWiki est derrière un proxy inverse qui redirige vers HTTPS). Ceci est corrigé dans MediaWiki 1.28. task T68485

Modifications introduites en MediaWiki 1.29

Dans MediaWiki 1.27.0 à 1.27.3 et de 1.28.0 à 1.28.2, lorsque $wgJobRunRate est configuré à une valeur supérieure à 0, l’erreur similaire à la suivante peut apparaître dans les journaux d’erreur ou sur la page :

PHP Notice: JobQueueGroup::__destruct: 1 buffered job(s) never inserted

Comme conséquence de cette erreur, certaines mises à jour peuvent échouer dans certains cas, comme les membres des catégories qui n'ont pas été rafraîchis sur les pages de catégorie, ou les modifications récentes qui affichent les éditions de pages supprimées - même si vous exécutez manuellement $runjobs pour nettoyer la file des tâches. Ce bogue a été rapporté (task T100085) et corrigé dans 1.27.4 et 1.28.3.

Exemples de tâches

Mettre à jour la table des liens quand un modèle est modifié

Quand un modèle est modifié, MediaWiki ajoute une tâche dans la file pour chaque article qui inclut ce modèle. Chaque tâche est une commande qui va lire un article, substituer les modèles et modifier la table des liens en conséquence. Auparavent, les articles hôte restent obsolètes jusqu'au moment où soit le cache de leur analyseur expire ou bien qu'un utilisateur modifie l'article.

Invalidation du cache HTML

Une classe plus large d'opérations peut résulter dans l'invalidation du cache HTML pour un grand nombre de pages :

  • Modifier une image (toutes les miniatures seront remises à jour, et leur taille recalculée)
  • Suppression d'une page (tous les liens vers cette page à partir des autres pages passeront du bleu au rouge)
  • Création ou restauration d'une page (comme ci-dessus, mais en passant du rouge au bleu)
  • Modifier un modèle (toutes les pages contenant ce modèle devront être mises à jour)

À l'exception des modifications de modèles, toutes ces opérations n'invalident pas la table des liens, mais elles invalident le cache HTML de toutes les pages liées à cette page, ou qui utilisent cette image. Invalider le cache d'une page est une opération rapide; elle ne requiert que la modification d'un champ dans la base de données et l'envoi de paquets multicast pour vider les caches. Mais s'il y a ainsi plus de 1 000 pages, cela prend un certain temps. Par défaut, un tâche est ajoutée toutes les 300 opérations (voir $wgUpdateRowsPerJob )

Transcodage audio et vidéo

Si on utilise le TimedMediaHandler pour gérer des téléversements locaux de fichiers audio ou vidéo, la file des tâches est utilisée pour exécuter la création éventuellement très lente des transcodages dérivés pour les différentes résolutions/formats.

Ces requêtes ne conviennent pas si elles sont faites à partir du web -- vous aurez besoin de lancer une tâche de fond.

Il est recommandé de démarrer si possible des exécuteurs séparés pour les types de tâches webVideoTranscode et webVideoTranscodePrioritized. Ces deux files gèrent différents sous-ensembles de fichiers -- le premier pour les vidéos HD de haute résolution, et le second pour les fichiers vidéos de plus basse résolution et audio qui sont traités plus rapidement.

Valeurs typiques

Pendant les périodes de faible affluence, la file des tâches peut être vide. Chez Wikimedia, la file n'est en pratique jamais vide. Pendant les heures creuses, elle peut contenir entre une centaine et quelques milliers de tâches. Pendant une journée chargée, elle peut atteindre plusieurs millions de tâches mais peut varier rapidement de 10% ou plus. [1]

Special:Statistics

Jusque MédiaWiki 1.16, la valeur de la file d'attente des tâches était affichée sur Special:Statistics. Néanmoins, depuis la version 1.17 (rev:75272), cela a été supprimé, et peut être vu dorénavant avec API:Siteinfo  :

Le nombre de tâches retourné dans les résultats de l'API peut être un peu biaisé si on utilise MySQL qui lui, évalue le nombre de tâches dans la base de données. Ce nombre peut changer en fonction du nombre de tâches qui ont été récemment ajoutées ou supprimées. Pour les autres bases de données qui ne supportent pas l'estimation rapide de la taille des résultats, le nombre actuel de tâches est donné.

Pour les développeurs

Voir aussi