Manual:Job queue/cs

V roce 2009 (MediaWiki 1.6) byla zavedena fronta úloh (job queue), která provádí asynchronně dlouhodobé úkoly. Fronta úloh je navržena tak, aby pojala mnoho krátkých úloh pomocí dávkového zpracování.



Nastavení
Doporučuje se naplánovat spouštění úloh zcela na pozadí pomocí příkazového řádku. Ve výchozím nastavení jsou úlohy spouštěny na konci webové žádosti. Toto výchozí chování zakažte nastavením na.

Cron
Můžete použít Cronu ke spuštění úloh každou hodinu. Přidejte do souboru crontab následující text:

Používání Cronu usnadňuje začátek, ale může zpomalit emailová upozornění a kaskádové šablony (čekání až hodinu). Zvažte místo toho použití jednoho z níže uvedených přístupů k nastavení nepřetržité úlohy.



Nepřetržitá služba
Máte-li přístup k shellu a máte možnost vytvářet iniciační skripty, můžete vytvořit jednoduchou službu pro spouštění úloh, jakmile budou k dispozici a také je omezit, aby se zabránilo tomu, aby běh úlohy monopolizoval prostředky CPU serveru:

Vytvořte bash skript, například za :



Vytvoření skriptu
V závislosti na rychlosti serveru a zatížení, které zpracovává, můžete upravit počet úloh, které se mají spustit v každém cyklu, a počet sekund, které se má v každém cyklu čekat.

Vytvořte spustitelný skript.



Vytvoření služby
Pokud používáte systemd, vytvořte novou servisní jednotku vytvořením souboru. Změňte parametr  na uživatele, který spouští PHP na vašem webovém serveru:

Povolte jej a spusťte jej pomocí těchto příkazů:



Provedení úlohy na žádostech o stránky
Ve výchozím nastavení je na konci každé webové žádosti odebrána z fronty úloh jedna úloha a provedena. Toto chování je řízeno konfigurační proměnnou. Pokud nastavíte tuto proměnnou na, spustí se úloha při každém požadavku. Nastavení této proměnné na  se zakáže provádění úloh během webových požadavků úplně, takže místo toho můžete  spouštět ručně nebo periodicky z příkazového řádku.

Pokud je to povolené, budou úlohy prováděny otevřením soketu a provedením interního požadavku HTTP na neuvedenou speciální stránku: Speciální:RunJobs. Viz také asynchronní část.



Problém s výkonem
Pokud je výkonové zatížení při spouštění úloh na každém webovém požadavku příliš velké, ale nemůžete spustit úlohy z příkazového řádku, můžete snížit na číslo mezi   a. To znamená, že úloha provede v průměru (on average) každou  žádost.



Ruční nastavení
Existuje také způsob, jak frontu úloh vyprázdnit ručně, například po změně šablony, která se nachází na mnoha stránkách. Jednoduše spusťte servisní skript. Například:



Opuštěné úlohy
Úloha může z určitých důvodů selhat. Abyste pochopili proč, musíte si prohlédnout související soubor protokolu.

V každém případě, pokud úloha selže 3krát (takže pokud systém provedl tento počet pokusů), úloha se pak považuje za "opuštěnou" a znovu se nespustí.

Relevantní zdrojový kód:

https://doc.wikimedia.org/mediawiki-core/master/php/JobQueue_8php_source.html#l00085

Opuštěná úloha:


 * již není provedena pro
 * nepočítá se pro
 * nebudou automaticky odstraněny z databáze
 * ale je zahrnuta v počtu Special:Statistics

Asynchronní spouštění
Byla přidána konfigurační proměnná, která vynucuje synchronní provádění úloh, ve scénářích, kde není požadováno provádění interního požadavku HTTP na provedení úlohy.

Při asynchronním spouštění úloh se otevře interní připojení HTTP pro zpracování provádění úloh a obsah stránky se okamžitě vrátí klientovi bez čekání na dokončení úlohy. Jinak bude úloha provedena ve stejném procesu a klient bude muset počkat, až bude úloha dokončena. Pokud úloha neběží asynchronně, dojde k závažné chybě během provádění úlohy, přenese se na klienta a přeruší načítání stránky.

Všimněte si, že i když je $wgRunJobsAsync nastaveno na hodnotu true, pokud PHP nemůže otevřít soket pro provedení interního požadavku HTTP, vrátí se zpět k provádění synchronní úlohy. Existují však různé situace, kdy může dojít k selhání tohoto interního požadavku a úlohy nebudou spuštěny, aniž by došlo k návratu k synchronnímu provádění úlohy. Počínaje MediaWiki 1.28.1 a 1.27.2 je nyní $wgRunJobsAsync nastaveno na false.



Odložené aktualizace
Mechanismus odložené aktualizace umožňuje naplánovat spuštění kódu na konec požadavku poté, co byl veškerý obsah odeslán do prohlížeče. This is similar to queuing a job, except that it runs immediately instead of upto several minutes/hours in the future.

DeferredUpdates byl zaveden v MediaWiki verze 1.23. U MediaWiki verze 1.27 a 1.28 došlo k zásadním změnám. Cílem tohoto mechanismu je urychlit reakce webu tím, že uděláte méně práce, a také upřednostnit některé práce, které by dříve byly úkolem, aby se spustily co nejdříve po skončení odezvy.

A deferrable update can implement  in order to be queueable as a Job as well. This is used by RefreshSecondaryDataUpdate in core, for example, which means if the update fails for any reason, MediaWiki will fallback to queuing as a job and try again later as to fulfil the contract in question.



Změny v MediaWiki verze 1.22
V bylo změněno provádění fronty úloh na každém požadavku na stránku, takže namísto provádění úlohy uvnitř stejného procesu PHP, který načítá stránku, je vytvořen nový příkaz cli PHP, aby se provedlo  na pozadí. Funguje to pouze v případě, že je nastavena na skutečnou cestu nebo je vypnutý bezpečný režim. Jinak bude použita stará metoda.

Tato nová metoda spuštění může způsobit některé problémy:


 * Pokud je nastavena na nekompatibilní verzi PHP (např.: zastaralá verze), úlohy nemusí fungovat (opraveno v 1.23).
 * Platí omezení PHP  a  je zakázáno (, opraveno ve verzi 1.23).
 * Provedení: I když je fronta úloh prázdná, nový proces PHP je přesto spuštěn (, opraveno ve verzi 1.23).
 * Někdy způsobí proces třídění PHP zablokování serveru nebo pouze CLI procesu kvůli nesprávně přesměrovaným popisovačům stdout a stderr (, opraveno ve verzi 1.22).
 * Nefunguje pro sdílený kód (farmy wiki), protože nepředává další požadované parametry ke spuštění souboru runJobs.php určených k identifikaci wiki, která úlohu spouští (, opraveno ve verzi 1.23).
 * Normální limity prostředí jako, a  jsou vynucovány v procesu runJobs.php, který se provádí na pozadí.

Neexistuje způsob, jak se vrátit ke starému zpracování front úloh na vyžádání, kromě nastavení na , což může způsobit další problémy. Lze ji zcela zakázat nastavením, ale úlohy se již nebudou na žádostech o stránku spouštět. Chcete-li pravidelně spouštět čekající úlohy, musíte explicitně spustit runJobs.php.



Změny v MediaWiki verze 1.23
V MediaWiki verze 1.23 je metoda prováděná ve verzi 1.22 opuštěna a úlohy jsou spouštěny MediaWiki vytvářejícím HTTP připojení společně.

Nejprve byl navržen jako vstupní bod API, ale později se změnil na neveřejnou speciální stránku Special:RunJobs.

Přestože řeší různé chyby zavedené verzí 1.22, stále vyžaduje načtení mnoha tříd PHP do paměti pro nový proces k provedení úlohy a také vytvoří nový požadavek HTTP, který musí server zpracovat.



Změny v MediaWiki verze 1.27
V programech MediaWiki verze 1.25 a MediaWiki verze 1.26 by použití, pokud má wiki vlastní konfiguraci někdy mohlo způsobit, že úlohy nebudou spuštěny. Toto bylo opraveno v MediaWiki verze 1.27.



Změny v MediaWiki verze 1.28
Mezi verzemi MediaWiki 1.23 a MediaWiki 1.27 použití způsobí, že úlohy nebudou spuštěny, pokud se požadavky MediaWiki týkají názvu serveru nebo protokolu, který neodpovídá aktuálně nakonfigurovanému názvu serveru (např. Když podporuje HTTP i HTTPS nebo když MediaWiki je za reverzním proxy serverem, který přesměruje na HTTPS). Toto bylo opraveno v MediaWiki verze 1.28.



Změny v MediaWiki verze 1.29
V prostředí verzí MediaWiki 1.27.0 až 1.27.3 a 1.28.0 až 1.28.2, je-li nastavena na hodnotu větší než 0, může se v protokolech chyb nebo na stránce objevit tato chyba:

PHP Notice: JobQueueGroup::__destruct: 1 buffered job(s) never inserted

aktualizováno na stránkách kategorií nebo nedávných změn zobrazujících úpravy smazaných stránek - i když ručně spustíte pro vymazání fronty úloh. Byl ohlášen jako chyba a byl vyřešen ve verzích 1.27.4 a 1.28.3.



Ukázky


Aktualizace tabulek odkazů, když se změní šablona
Když se změní šablona, MediaWiki přidá úlohu do fronty úloh pro každý článek, který tuto šablonu převádí. Každá úloha je příkazem k přečtení článku, rozbalení všech šablon a odpovídajícím způsobem aktualizování tabulky odkazů. Dříve by hostitelské články zůstaly zastaralé, dokud nevyprší platnost jejich parserové mezipaměti nebo dokud uživatel neupraví článek.

<span id="HTML_cache_invalidation">

Zrušení platnosti mezipaměti HTML
Širší třída operací může mít za následek zneplatnění mezipaměti HTML pro velký počet stránek:


 * Změna obrázku (všechny miniatury musí být znovu vykresleny a jejich velikosti přepočítány).
 * Mazání stránky (všechny odkazy na jiné stránky se musí změnit z modré na červenou).
 * Vytváření nebo odvíjení stránky (jako výše, ale z červené na modrou).
 * Změna šablony (je třeba aktualizovat všechny stránky, které tuto šablonu převádějí).

S výjimkou změn šablon tyto operace nezruší platnost tabulek odkazů, ale zneplatní mezipaměť HTML všech stránek, které odkazují na tuto stránku nebo používají tento obrázek. Zrušení platnosti mezipaměti stránky je krátká operace. Vyžaduje pouze aktualizaci jediného databázového pole a odeslání paketu vícesměrového vysílání, aby se vyčistily mezipaměti. Ale pokud jich je více než 1000, trvá to dlouho. Ve výchozím nastavení je jedna operace přidána na 300 operací (viz )

Mějte však na paměti, že i když je vymazání mezipaměti stránky krátkou operací, může být oprava složité stránky, která není v mezipaměti, náročná. Zejména pokud je upravena velmi používaná šablona a způsobí, že se mnoho stránek vyčistí v krátké době a vaše wiki má spoustu souběžných návštěvníků, kteří načítají širokou škálu stránek. To lze zmírnit snížením počtu stránek vymazaných v krátkém časovém období, snížením na malé číslo (například 20) a také nastavením  za   na nízké číslo (například 5).

<span id="Audio_and_video_transcoding">

Překódování zvuku a videa
Při zpracování místního nahrávání zvukových a obrazových souborů pomocí se fronta úloh používá ke spuštění potenciálně velmi pomalého vytváření odvozených transkódů v různých rozlišeních případně formátech.

Ty nejsou vhodné pro provoz na webových požadavcích - budete potřebovat běh na pozadí.

Pokud je to možné, doporučujeme nastavit samostatné běhy pro typy úloh  a. Tyto dvě fronty zpracovávají různé podmnožiny souborů - první pro HD videa ve vysokém rozlišení a druhá pro videa a zvukové soubory s nižším rozlišením, které se zpracovávají rychleji.

<span id="Typical_values">

Typické hodnoty
Během období nízkého zatížení může být fronta úloh nulová. V praxi ve Wikimedii není fronta úloh téměř nikdy prázdná. V době mimo špičku to může být několik stovek až tisíc. Během rušného dne to může být několik milionů, ale údaj může rychle kolísat o 10 % nebo i více.

Speciální statistiky
Až do MediaWiki 1.16 byla hodnota fronty úloh zobrazena na Special:Statistics. Od verze 1.17 (75272) však toto bylo odstraněno a nyní je vidět v :

Počet úloh vrácených ve výsledku API může být při použití MySQL, který odhaduje počet úloh v databázi, mírně nepřesný. Toto číslo může kolísat na základě počtu úloh, které byly nedávno přidány nebo odstraněny. U ostatních databází, které nepodporují rychlý odhad velikosti výsledku, je uveden skutečný počet úloh.

<span id="For_developers">

Pro vývojáře


<span id="Code_stewardship">

Správce kódu
<span id="See_also">