Manual:Job queue/cs

V MediaWiki 1.6 byla zavedena fronta úloh (job queue), která provádí asynchronně dlouhodobé úkoly. Fronta úloh je navržena tak, aby pojala mnoho krátkých úloh pomocí dávkového zpracování.

Nastavení
Ve výchozím nastavení jsou úlohy spouštěny na konci webové žádosti. Pokud je to možné, doporučujeme vám toto výchozí chování zakázat nastavením až   a místo toho naplánovat spuštění úloh zcela na pozadí pomocí příkazového řádku.

Cron
Například můžete použít cron ke spuštění úloh každý den o půlnoci zadáním následujícího do souboru crontab:

Using Cron makes it easy to get started, but can be make e-mail notifications and cascading template feel slow (to wait upto an hour). Consider using one of the below approaches to set up a continuous job runner instead.

Jednoduché spuštění úloh
Máte-li přístup k shellu a máte možnost vytvářet iniciační skripty, můžete vytvořit jednoduchou službu pro spouštění úloh, jakmile budou k dispozici a také je omezit, aby se zabránilo tomu, aby běh úlohy monopolizoval prostředky CPU serveru:

Vytvořte bash skript, například za :

V závislosti na rychlosti serveru a zatížení, které zpracovává, můžete upravit počet úloh, které se mají spustit v každém cyklu, a počet sekund, které se mají v každém cyklu čekat.

Vytvořte spustitelný skript.

Pokud používáte systemd, vytvořte novou servisní jednotku vytvořením souboru. Změňte parametr  na uživatele, který spouští PHP na vašem webovém serveru:

Povolte jej a spusťte jej pomocí těchto příkazů:

Provedení úlohy na žádostech o stránky
Ve výchozím nastavení je na konci každé webové žádosti odebrána z fronty úloh jedna úloha a provedena. Toto chování je řízeno konfigurační proměnnou. Pokud nastavíte tuto proměnnou na, spustí se úloha při každém požadavku. Nastavení této proměnné na  se zakáže provádění úloh během webových požadavků úplně, takže místo toho můžete  spouštět ručně nebo periodicky z příkazového řádku.

Pokud je to povolené, budou úlohy prováděny otevřením soketu a provedením interního požadavku HTTP na neuvedenou speciální stránku: Speciální: RunJobs. Viz také část asynchronous.

Problém s výkonem
Pokud je zatížení výkonu při spouštění úloh na každém webovém požadavku příliš velké, ale nemůžete spustit úlohy z příkazového řádku, můžete snížit na číslo mezi   a. To znamená, že úloha provede "v průměru" (on average) každou  žádost.

Ruční nastavení
Existuje také způsob, jak frontu úloh vyprázdnit ručně, například po změně šablony, která se nachází na mnoha stránkách. Jednoduše spusťte servisní skript. Například:

Asynchronní spouštění
Byla přidána konfigurační proměnná, která vynucuje synchronní provádění úloh, ve scénářích, kde není požadováno provádění interního požadavku HTTP na provedení úlohy.

Při asynchronním spouštění úloh se otevře interní připojení HTTP pro zpracování provádění úloh a obsah stránky se okamžitě vrátí klientovi bez čekání na dokončení úlohy. Jinak bude úloha provedena ve stejném procesu a klient bude muset počkat, až bude úloha dokončena. Pokud se úloha nespustí asynchronně, dojde-li během provádění úlohy k závažné chybě, rozšíří se na klienta a přeruší načtení stránky.

Všimněte si, že i když je $wgRunJobsAsync nastaven na true, pokud PHP nemůže otevřít soket pro vytvoření interního požadavku HTTP, dojde k synchronnímu provádění úlohy. Existují však různé situace, kdy může dojít k selhání tohoto interního požadavku a úlohy nebudou spuštěny, aniž by došlo k návratu k synchronnímu provádění úlohy. Počínaje MediaWiki 1.28.1 a 1.27.2 je nyní $wgRunJobsAsync nastaveno na false.

Odložené aktualizace
Mechanismus „odložených aktualizací“ byl zaveden v MediaWiki 1.23. Během MediaWiki 1.27 a 1.28 došlo k zásadním změnám. Umožňuje provedení některých funkcí na konci požadavku, když byl veškerý obsah odeslán do prohlížeče, namísto toho, aby byl zařazen do úlohy, což by se jinak mohlo provést o několik hodin později. Cílem tohoto alternativního mechanismu je zejména urychlit hlavní požadavky MediaWiki a zároveň provést některé funkce co nejdříve na konci žádosti.

Některé aktualizace mohou být odložitelné aktualizace a úlohy, pokud jsou jako takové specifikovány.

Změny v MediaWiki 1.22
V bylo změněno provádění fronty úloh na každém požadavku na stránku, takže namísto provádění úlohy uvnitř stejného procesu PHP, který načítá stránku, je vytvořen nový příkaz cli PHP, aby se provedlo  na pozadí. Funguje to pouze v případě, že je nastavena na skutečnou cestu nebo je vypnutý bezpečný režim, jinak bude použita stará metoda.

Tato nová metoda spuštění může způsobit některé problémy:


 * Pokud je nastavena na nekompatibilní verzi PHP (např .: zastaralá verze), úlohy nemusí fungovat (opraveno v 1.23).
 * Platí omezení PHP  a  je zakázáno (, opraveno ve verzi 1.23).
 * Provedení: i když je fronta úloh prázdná, nový proces PHP je přesto spuštěn (, opraveno ve verzi 1.23).
 * Někdy způsobí proces třídění PHP zablokování serveru nebo pouze CLI procesu kvůli nesprávně přesměrovaným popisovačům stdout a stderr (, opraveno ve verzi 1.22)
 * Nefunguje pro sdílený kód (farmy wiki), protože nepředává další požadované parametry ke spuštění souboru runJobs.php k identifikaci wiki, která úlohu spouští (, opraveno ve verzi 1.23)
 * Normální limity prostředí jako, a  jsou vynucovány v procesu runJobs.php, který se provádí na pozadí.

Neexistuje způsob, jak se vrátit ke starému zpracování front úloh na vyžádání, kromě nastavení na , což může způsobit další problémy. Lze ji zcela zakázat nastavením, ale úlohy se již nebudou na žádostech o stránku spouštět. Chcete-li pravidelně spouštět čekající úlohy, musíte explicitně spustit runJobs.php.

Změny v MediaWiki 1.23
V MediaWiki 1.23 je metoda prováděná ve verzi 1.22 opuštěna a úlohy jsou spouštěny MediaWiki vytvářejícím HTTP připojení společně.

Nejprve byl navržen jako vstupní bod API, ale později se změnil na neveřejnou speciální stránku Special:RunJobs.

Přestože řeší různé chyby zavedené v 1.22, stále vyžaduje načtení mnoha tříd PHP do paměti pro nový proces k provedení úlohy a také vytvoří nový požadavek HTTP, který musí server zpracovat.

Změny v MediaWiki 1.27
V programech MediaWiki 1.25 a MediaWiki 1.26 by použití, pokud má wiki vlastní konfiguraci někdy mohlo způsobit, že úlohy nebudou spuštěny. Toto bylo opraveno v MediaWiki 1.27.

Změny v MediaWiki 1.28
Mezi MediaWiki 1.23 a MediaWiki 1.27 použití způsobí, že úlohy nebudou spuštěny, pokud se požadavky MediaWiki týkají názvu serveru nebo protokolu, který neodpovídá aktuálně nakonfigurovanému názvu serveru (např. Když podporuje HTTP i HTTPS, nebo když MediaWiki je za reverzním proxy serverem, který přesměruje na HTTPS). Toto bylo opraveno v MediaWiki 1.28.

Změny v MediaWiki 1.29
V prostředí MediaWiki 1.27.0 až 1.27.3 a 1.28.0 až 1.28.2, je-li nastavena na hodnotu větší než 0, může se v protokolech chyb nebo na stránce objevit tato chyba:

PHP Notice: JobQueueGroup::__destruct: 1 buffered job(s) never inserted

aktualizovány na stránkách kategorií nebo nedávné změny zobrazující úpravy smazaných stránek - i když ručně spustíte pro vymazání fronty úloh. Byl ohlášen jako chyba a byl vyřešen ve verzích 1.27.4 a 1.28.3.

Aktualizace tabulek odkazů, když se změní šablona
Když se změní šablona, MediaWiki přidá úlohu do fronty úloh pro každý článek, který tuto šablonu převádí. Každá úloha je příkazem k přečtení článku, rozbalení všech šablon a odpovídajícím způsobem aktualizování tabulky odkazů. Dříve by hostitelské články zůstaly zastaralé, dokud nevyprší platnost jejich parserové mezipaměti nebo dokud uživatel neupraví článek.

Zrušení platnosti mezipaměti HTML
Širší třída operací může mít za následek zneplatnění mezipaměti HTML pro velký počet stránek:


 * Změna obrázku (všechny miniatury musí být znovu vykresleny a jejich velikosti přepočítány)
 * Mazání stránky (všechny odkazy na jiné stránky se musí změnit z modré na červenou)
 * Vytváření nebo odvíjení stránky (jako výše, ale z červené na modrou)
 * Změna šablony (je třeba aktualizovat všechny stránky, které tuto šablonu převádějí)

S výjimkou změn šablon tyto operace nezruší platnost tabulek odkazů, ale zneplatní mezipaměť HTML všech stránek, které odkazují na tuto stránku nebo používají tento obrázek. Zrušení platnosti mezipaměti stránky je krátká operace; vyžaduje pouze aktualizaci jediného databázového pole a odeslání paketu vícesměrového vysílání, aby se vyčistily mezipaměti. Ale pokud jich je více než 1000, trvá to dlouho. Ve výchozím nastavení je jedna operace přidána na 300 operací (viz )

Mějte však na paměti, že i když je vymazání mezipaměti stránky krátkou operací, může být oprava složité stránky, která není v mezipaměti, náročná, zejména pokud je upravena velmi používaná šablona a způsobí, že se mnoho stránek vyčistí v krátké době a vaše wiki má spoustu souběžných návštěvníků, kteří načítají širokou škálu stránek. To lze zmírnit snížením počtu stránek vymazaných v krátkém časovém období, snížením na malé číslo (například 20) a také nastavením  za   na nízké číslo (například 5).

Překódování zvuku a videa
Při zpracování místního nahrávání zvukových a obrazových souborů pomocí se fronta úloh používá ke spuštění potenciálně velmi pomalého vytváření odvozených transkódů v různých rozlišeních / formátech.

Ty nejsou vhodné pro provoz na webových požadavcích - budete potřebovat běh na pozadí.

Pokud je to možné, doporučujeme nastavit samostatné běhy pro typy úloh  a. Tyto dvě fronty zpracovávají různé podmnožiny souborů - první pro HD videa ve vysokém rozlišení a druhá pro videa a zvukové soubory s nižším rozlišením, které se zpracovávají rychleji.

Typické hodnoty
Během období nízkého zatížení může být fronta úloh nulová. V praxi ve Wikimedia není fronta úloh téměř nikdy prázdná. V době mimo špičku to může být několik stovek až tisíc. Během rušného dne to může být několik milionů, ale údaj může rychle kolísat o 10% nebo více.

Speciální statistiky
Až do MediaWiki 1.16 byla hodnota fronty úloh zobrazena na Special:Statistics. Od verze 1.17 (75272) však toto bylo odstraněno a nyní je vidět ve :

Počet úloh vrácených ve výsledku API může být při použití MySQL, který odhaduje počet úloh v databázi, mírně nepřesný. Toto číslo může kolísat na základě počtu úloh, které byly nedávno přidány nebo odstraněny. U ostatních databází, které nepodporují rychlý odhad velikosti výsledku, je uveden skutečný počet úloh.