Příručka:Fronta úloh

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page Manual:Job queue and the translation is 97% complete.
Other languages:
Bahasa Indonesia • ‎Deutsch • ‎English • ‎Tiếng Việt • ‎français • ‎italiano • ‎polski • ‎čeština • ‎русский • ‎فارسی • ‎中文 • ‎日本語

V MediaWiki 1.6 byla zavedena fronta úloh (job queue), která provádí asynchronně dlouhodobé úkoly. Fronta úloh je navržena tak, aby pojala mnoho krátkých úloh pomocí dávkového zpracování.

Nastavení

It is recommended that you instead schedule the running of jobs completely in the background, via the command line. Ve výchozím nastavení jsou úlohy spouštěny na konci webové žádosti. Toto výchozí chování zakažte nastavením $wgJobRunRate na 0.

Měli byste spouštět runJobs.php jako uživatel stejný s webovým serverem, aby se zajistilo, že oprávnění pro souborový systém jsou správně účtována, pokud se úlohy dotknou nahraných souborů.

Cron

Můžete použít cron ke spuštění úloh každou hodinu. Přidejte do souboru crontab následující text:

0 * * * * /usr/bin/php /var/www/wiki/maintenance/runJobs.php --maxtime=3600 > /var/log/runJobs.log 2>&1

Using Cron makes it easy to get started, but can be make e-mail notifications and cascading template feel slow (to wait upto an hour). Consider using one of the below approaches to set up a continuous job runner instead.

Nepřetržitá služba

Máte-li přístup k shellu a máte možnost vytvářet iniciační skripty, můžete vytvořit jednoduchou službu pro spouštění úloh, jakmile budou k dispozici a také je omezit, aby se zabránilo tomu, aby běh úlohy monopolizoval prostředky CPU serveru:

Vytvořte bash skript, například za /usr/local/bin/mwjobrunner:

#!/bin/bash
# Napište instalační cestu MediaWiki na řádek níže
MW_INSTALL_PATH=/home/www/www.mywikisite.example/mediawiki
RUNJOBS=$MW_INSTALL_PATH/maintenance/runJobs.php
echo Zahájení práce ...
# Počkejte minutu po spuštění serveru, aby umožnil start všech procesů
sleep 60
echo Spuštění.
while true; do
	# Typy úloh, které je třeba spustit ASAP, bez ohledu na to, kolik z nich je ve frontě
	# Tyto úkoly by měly být velmi „jednoduché“, aby mohly být spuštěny
	php $RUNJOBS --type="enotifNotify"
	# Všechno ostatní omezuje počet úloh v každé dávce
	# Parametr --wait pozastaví provádění, dokud se nepřidají nové úlohy,
	# abyste se vyhnuli spuštění smyčky, aniž byste museli cokoli dělat
	php $RUNJOBS --wait --maxjobs=20
	# Počkejte několik sekund, než CPU umožní provádět jiné činnosti, jako je zpracování webových požadavků atd
	echo Čekání 10 sekund ...
	sleep 10
done

V závislosti na rychlosti serveru a zatížení, které zpracovává, můžete upravit počet úloh, které se mají spustit v každém cyklu, a počet sekund, které se mají v každém cyklu čekat.

Vytvořte spustitelný skript (chmod 755).

Pokud používáte systemd, vytvořte novou servisní jednotku vytvořením souboru /etc/systemd/system/mw-jobqueue.service. Změňte parametr User na uživatele, který spouští PHP na vašem webovém serveru:

[Unit]
Description=MediaWiki Job runner

[Service]
ExecStart=/usr/local/bin/mwjobrunner
Nice=10
ProtectSystem=full
User=php-fpm
OOMScoreAdjust=200
StandardOutput=journal

[Install]
WantedBy=multi-user.target

Povolte jej a spusťte jej pomocí těchto příkazů:

sudo systemctl enable mw-jobqueue
sudo systemctl start mw-jobqueue
sudo systemctl status mw-jobqueue

Provedení úlohy na žádostech o stránky

Ve výchozím nastavení je na konci každé webové žádosti odebrána z fronty úloh jedna úloha a provedena. Toto chování je řízeno konfigurační proměnnou $wgJobRunRate . Pokud nastavíte tuto proměnnou na 1, spustí se úloha při každém požadavku. Nastavení této proměnné na 0 se zakáže provádění úloh během webových požadavků úplně, takže místo toho můžete runJobs.php spouštět ručně nebo periodicky z příkazového řádku.

MediaWiki version: 1.23

Pokud je to povolené, budou úlohy prováděny otevřením soketu a provedením interního požadavku HTTP na neuvedenou speciální stránku: Speciální: RunJobs. Viz také část asynchronous.

Problém s výkonem

Pokud je zatížení výkonu při spouštění úloh na každém webovém požadavku příliš velké, ale nemůžete spustit úlohy z příkazového řádku, můžete snížit $wgJobRunRate na číslo mezi 1 a 0.

To znamená, že úloha provede "v průměru" (on average) každou 1 / $wgJobRunRate žádost.

$wgJobRunRate = 0.01;

Ruční nastavení

Existuje také způsob, jak frontu úloh vyprázdnit ručně, například po změně šablony, která se nachází na mnoha stránkách. Jednoduše spusťte servisní skript maintenance/runJobs.php . Například:

/path-to-my-wiki/maintenance$ php ./runJobs.php

Historie

Asynchronní spouštění

Byla přidána konfigurační proměnná $wgRunJobsAsync , která vynucuje synchronní provádění úloh, ve scénářích, kde není požadováno provádění interního požadavku HTTP na provedení úlohy.

Při asynchronním spouštění úloh se otevře interní připojení HTTP pro zpracování provádění úloh a obsah stránky se okamžitě vrátí klientovi bez čekání na dokončení úlohy. Jinak bude úloha provedena ve stejném procesu a klient bude muset počkat, až bude úloha dokončena. Pokud se úloha nespustí asynchronně, dojde-li během provádění úlohy k závažné chybě, rozšíří se na klienta a přeruší načtení stránky.

Všimněte si, že i když je $wgRunJobsAsync nastaven na true, pokud PHP nemůže otevřít soket pro vytvoření interního požadavku HTTP, dojde k synchronnímu provádění úlohy. Existují však různé situace, kdy může dojít k selhání tohoto interního požadavku a úlohy nebudou spuštěny, aniž by došlo k návratu k synchronnímu provádění úlohy. Počínaje MediaWiki 1.28.1 a 1.27.2 je nyní $wgRunJobsAsync nastaveno na false.

Odložené aktualizace

Mechanismus „odložených aktualizací“ byl zaveden v MediaWiki 1.23. Během MediaWiki 1.27 a 1.28 došlo k zásadním změnám. Umožňuje provedení některých funkcí na konci požadavku, když byl veškerý obsah odeslán do prohlížeče, namísto toho, aby byl zařazen do úlohy, což by se jinak mohlo provést o několik hodin později. Cílem tohoto alternativního mechanismu je zejména urychlit hlavní požadavky MediaWiki a zároveň provést některé funkce co nejdříve na konci žádosti.

Některé aktualizace mohou být odložitelné aktualizace a úlohy, pokud jsou jako takové specifikovány.

Změny v MediaWiki 1.22

V MediaWiki 1.22 bylo změněno provádění fronty úloh na každém požadavku na stránku (Gerrit change 59797), takže namísto provádění úlohy uvnitř stejného procesu PHP, který načítá stránku, je vytvořen nový příkaz cli PHP, aby se provedlo runJobs.php na pozadí. Funguje to pouze v případě, že je $wgPhpCli nastavena na skutečnou cestu nebo je vypnutý bezpečný režim, jinak bude použita stará metoda.

Tato nová metoda spuštění může způsobit některé problémy:

  • Pokud je $wgPhpCli nastavena na nekompatibilní verzi PHP (např .: zastaralá verze), úlohy nemusí fungovat (opraveno v 1.23).
  • Platí omezení PHP open_basedir a $wgPhpCli je zakázáno (task T62208, opraveno ve verzi 1.23).
  • Provedení: i když je fronta úloh prázdná, nový proces PHP je přesto spuštěn (task T62210, opraveno ve verzi 1.23).
  • Někdy způsobí proces třídění PHP zablokování serveru nebo pouze CLI procesu kvůli nesprávně přesměrovaným popisovačům stdout a stderr (task T60719, opraveno ve verzi 1.22)
  • Nefunguje pro sdílený kód (farmy wiki), protože nepředává další požadované parametry ke spuštění souboru runJobs.php k identifikaci wiki, která úlohu spouští (task T62698, opraveno ve verzi 1.23)
  • Normální limity prostředí jako $wgMaxShellMemory , $wgMaxShellTime a $wgMaxShellFileSize jsou vynucovány v procesu runJobs.php, který se provádí na pozadí.

Neexistuje způsob, jak se vrátit ke starému zpracování front úloh na vyžádání, kromě nastavení $wgPhpCli na false, což může způsobit další problémy (task T63387). Lze ji zcela zakázat nastavením $wgJobRunRate = 0;, ale úlohy se již nebudou na žádostech o stránku spouštět. Chcete-li pravidelně spouštět čekající úlohy, musíte explicitně spustit runJobs.php.

Změny v MediaWiki 1.23

V MediaWiki 1.23 je metoda prováděná ve verzi 1.22 opuštěna a úlohy jsou spouštěny MediaWiki vytvářejícím HTTP připojení společně.

Nejprve byl navržen jako vstupní bod API (Gerrit change 113038), ale později se změnil na neveřejnou speciální stránku Special:RunJobs (Gerrit change 118336).

Přestože řeší různé chyby zavedené v 1.22, stále vyžaduje načtení mnoha tříd PHP do paměti pro nový proces k provedení úlohy a také vytvoří nový požadavek HTTP, který musí server zpracovat.

Změny v MediaWiki 1.27

V programech MediaWiki 1.25 a MediaWiki 1.26 by použití $wgRunJobsAsync , pokud má wiki vlastní konfiguraci $wgServerName někdy mohlo způsobit, že úlohy nebudou spuštěny. Toto bylo opraveno v MediaWiki 1.27. task T107290

Změny v MediaWiki 1.28

Mezi MediaWiki 1.23 a MediaWiki 1.27 použití $wgRunJobsAsync způsobí, že úlohy nebudou spuštěny, pokud se požadavky MediaWiki týkají názvu serveru nebo protokolu, který neodpovídá aktuálně nakonfigurovanému názvu serveru (např. Když podporuje HTTP i HTTPS, nebo když MediaWiki je za reverzním proxy serverem, který přesměruje na HTTPS). Toto bylo opraveno v MediaWiki 1.28. task T68485

Změny v MediaWiki 1.29

V prostředí MediaWiki 1.27.0 až 1.27.3 a 1.28.0 až 1.28.2, je-li $wgJobRunRate nastavena na hodnotu větší než 0, může se v protokolech chyb nebo na stránce objevit tato chyba:

PHP Notice: JobQueueGroup::__destruct: 1 buffered job(s) never inserted

aktualizovány na stránkách kategorií nebo nedávné změny zobrazující úpravy smazaných stránek - i když ručně spustíte runJobs.php pro vymazání fronty úloh. Byl ohlášen jako chyba (task T100085) a byl vyřešen ve verzích 1.27.4 a 1.28.3.

Ukázky

Aktualizace tabulek odkazů, když se změní šablona

Když se změní šablona, MediaWiki přidá úlohu do fronty úloh pro každý článek, který tuto šablonu převádí. Každá úloha je příkazem k přečtení článku, rozbalení všech šablon a odpovídajícím způsobem aktualizování tabulky odkazů. Dříve by hostitelské články zůstaly zastaralé, dokud nevyprší platnost jejich parserové mezipaměti nebo dokud uživatel neupraví článek.

Zrušení platnosti mezipaměti HTML

Širší třída operací může mít za následek zneplatnění mezipaměti HTML pro velký počet stránek:

  • Změna obrázku (všechny miniatury musí být znovu vykresleny a jejich velikosti přepočítány)
  • Mazání stránky (všechny odkazy na jiné stránky se musí změnit z modré na červenou)
  • Vytváření nebo odvíjení stránky (jako výše, ale z červené na modrou)
  • Změna šablony (je třeba aktualizovat všechny stránky, které tuto šablonu převádějí)

S výjimkou změn šablon tyto operace nezruší platnost tabulek odkazů, ale zneplatní mezipaměť HTML všech stránek, které odkazují na tuto stránku nebo používají tento obrázek. Zrušení platnosti mezipaměti stránky je krátká operace; vyžaduje pouze aktualizaci jediného databázového pole a odeslání paketu vícesměrového vysílání, aby se vyčistily mezipaměti. Ale pokud jich je více než 1000, trvá to dlouho. Ve výchozím nastavení je jedna operace přidána na 300 operací (viz $wgUpdateRowsPerJob )

Mějte však na paměti, že i když je vymazání mezipaměti stránky krátkou operací, může být oprava složité stránky, která není v mezipaměti, náročná, zejména pokud je upravena velmi používaná šablona a způsobí, že se mnoho stránek vyčistí v krátké době a vaše wiki má spoustu souběžných návštěvníků, kteří načítají širokou škálu stránek. To lze zmírnit snížením počtu stránek vymazaných v krátkém časovém období, snížením $wgUpdateRowsPerJob na malé číslo (například 20) a také nastavením $wgJobBackoffThrottling za htmlCacheUpdate na nízké číslo (například 5).

Překódování zvuku a videa

Při zpracování místního nahrávání zvukových a obrazových souborů pomocí TimedMediaHandler se fronta úloh používá ke spuštění potenciálně velmi pomalého vytváření odvozených transkódů v různých rozlišeních / formátech.

Ty nejsou vhodné pro provoz na webových požadavcích - budete potřebovat běh na pozadí.

Pokud je to možné, doporučujeme nastavit samostatné běhy pro typy úloh webVideoTranscode a webVideoTranscodePrioritized. Tyto dvě fronty zpracovávají různé podmnožiny souborů - první pro HD videa ve vysokém rozlišení a druhá pro videa a zvukové soubory s nižším rozlišením, které se zpracovávají rychleji.

Typické hodnoty

Během období nízkého zatížení může být fronta úloh nulová. V praxi ve Wikimedia není fronta úloh téměř nikdy prázdná. V době mimo špičku to může být několik stovek až tisíc. Během rušného dne to může být několik milionů, ale údaj může rychle kolísat o 10% nebo více. [1]

Speciální statistiky

Až do MediaWiki 1.16 byla hodnota fronty úloh zobrazena na Special:Statistics. Od verze 1.17 (rev:75272) však toto bylo odstraněno a nyní je vidět ve API:Siteinfo :

Počet úloh vrácených ve výsledku API může být při použití MySQL, který odhaduje počet úloh v databázi, mírně nepřesný. Toto číslo může kolísat na základě počtu úloh, které byly nedávno přidány nebo odstraněny. U ostatních databází, které nepodporují rychlý odhad velikosti výsledku, je uveden skutečný počet úloh.

Pro vývojáře

Code stewardship

Viz též