Manuál:Přístup k databázi

From MediaWiki.org
Jump to navigation Jump to search
This page is a translated version of the page Manual:Database access and the translation is 100% complete.
Other languages:
Deutsch • ‎English • ‎Nederlands • ‎español • ‎français • ‎lietuvių • ‎polski • ‎português • ‎čeština • ‎русский • ‎中文 • ‎日本語

Tento článek poskytuje přehled přístupu k databázi a obecných problémů s databází na MediaWiki.

Při kódování v MediaWiki budete obvykle přistupovat k databázi pouze prostřednictvím funkcí MediaWiki pro tento účel.

Rozložení databáze

Informace o rozvržení databáze MediaWiki, například popis tabulek a jejich obsah, naleznete v rozložení Příručka:Rozložení databáze a maintenance/tables.sql.

Přihlášení do MySQL

Použití sql.php

MediaWiki poskytuje skript údržby pro přístup k databázi ze spouštěcího adresáře údržby:

php sql.php

Potom můžete napsat dotazy na databázi. Případně můžete zadat název souboru a MediaWiki jej provede, přičemž podle potřeby nahradí jakékoli speciální proměnné MW. Pro více informací viz Manual:Sql.php

Toto bude fungovat pro všechny backendy databáze. Příkaz však není tak účinný jako klienti příkazového řádku, kteří jsou součástí vaší databáze.

Použití klienta příkazového řádku mysql

## Nastavení databáze
$wgDBtype           = "mysql";
$wgDBserver         = "localhost";
$wgDBname           = "your-database-name";
$wgDBuser           = "your-database-username";  // Default: root
$wgDBpassword       = "your-password";

V LocalSettings.php najdete heslo a uživatelské jméno vaší wiki pro MySQL, například:

Do SSH se přihlaste zadáním následujícího:

mysql -u <$wgDBuser> -p --database=<$wgDBname>

Nahraďte <$wgDBuser> a <$wgDBname> informacemi LocalSettings.php. Poté budete vyzváni k zadání hesla $wgDBpassword, po kterém se zobrazí výzva mysql>.

Vrstva abstrakce databázə

MediaWiki poskytuje abstrakční vrstvu databáze. Pokud nepracujete na abstrakční vrstvě, nikdy byste neměli přímo volat funkce databáze PHP (například mysql_query() nebo pg_send_query()).

K abstrakční vrstvě se přistupuje prostřednictvím třídy Wikimedia\Rdbms\Database. Příklad této třídy lze získat voláním getConnection() na vkládané ILoadBalancer, nebo pomocí funkce wfGetDB(). Buď se obvykle volá s jediným parametrem, kterým může být konstantní DB_REPLICA (pro dotazy na čtení) nebo DB_MASTER (pro dotazy na psaní a čtení, které potřebují absolutně nejnovější informace). Rozdíl mezi masterem a slave je důležitý v prostředí více databází, jako je například Wikimedia. V části Balíčky funkcí (Wrapper functions) níže najdete informace o tom, co můžete udělat s vráceným objektem Database.

Výsledné obaly vybraných dotazů jsou pole, jejichž klíče jsou celá čísla začínající na 1. Chcete-li vytvořit dotaz pro čtení, obvykle stačí něco takového:

$dbr = wfGetDB( DB_REPLICA );
$res = $dbr->select( /* ...see docs... */ );
foreach( $res as $row ) {
	...
}

Chcete-li napsat dotaz, použijte něco jako:

$dbw = wfGetDB( DB_MASTER );
$dbw->insert( /* ...see docs... */ );

Používáme konvenci $dbr pro čtení a $dbw pro zápis, abychom vám pomohli sledovat, zda je databázový objekt slave (pouze pro čtení) nebo master (čtení nebo psaní). Pokud píšete otrokovi, svět exploduje. Nebo přesněji, následný zápisový dotaz, který uspěl na masteru, může selhat, když je replikován na slave kvůli jedinečné kolizi klíčů. Replikace na slave se zastaví a může trvat několik hodin, než se databáze opraví a vrátí se zpět online. Nastavením read_only v my.cnf na slave se tomuto scénáři vyhnete, ale vzhledem k hrozným důsledkům dáváme přednost co největšímu počtu kontrol.

Wrapper functions

Poskytujeme funkci query() pro surový SQL, ale funkce wrapper jako select() a insert() jsou obvykle výhodnější. Mohou se za určitých okolností postarat například o předvolby tabulek a escaping. Pokud opravdu potřebujete vytvořit svůj vlastní SQL, přečtěte si dokumentaci k tableName() a addQuotes(). Ob̟ě budete potřebovat. Nezapomeňte, že pokud nebudete správně používat addQuotes(), můžete do své wiki vložit závažné bezpečnostní díry.

Dalším důležitým důvodem pro použití metod na vysoké úrovni, namísto vytváření vlastních dotazů, je zajištění správného fungování kódu bez ohledu na typ databáze. V současné době je nejlepší podpora pro MySQL / MariaDB. Existuje také dobrá podpora pro SQlite, je však mnohem pomalejší než MySQL nebo MariaDB. Existuje podpora pro PostgreSQL, ale není tak stabilní jako MySQL. MediaWiki má experimentální podporu pro Oracle a MSSQL.

V následující části jsou uvedeny dostupné funkce obálky. Podrobný popis parametrů funkcí wrapperu najdete v dokumentech třídy Database's. Zejména viz Database::select pro vysvětlení $table, $vars, $conds, $fname, $options a $join_conds parametrů, které používá mnoho dalších funkcí wrapperu.

function select( $table, $vars, $conds = '', $fname = 'Database::select', $options = array(), $join_conds = array() );
function selectField( $table, $var, $cond = '', $fname = __METHOD__, $options = array() );
function selectRow( $table, $vars, $conds = '', $fname = 'Database::select', $options = array() );
function insert( $table, $a, $fname = 'Database::insert', $options = array() );
function insertSelect( $destTable, $srcTable, $varMap, $conds, $fname = 'Database::insertSelect', $insertOptions = array(), $selectOptions = array() );
function update( $table, $values, $conds, $fname = 'Database::update', $options = array() );
function delete( $table, $conds, $fname = 'Database::delete' );
function deleteJoin( $delTable, $joinTable, $delVar, $joinVar, $conds, $fname = 'Database::deleteJoin' );
function buildLike(/*...*/);

Funkce Wrapper: select()

Funkce select() poskytuje rozhraní MediaWiki pro příkaz SELECT. Komponenty příkazu SELECT jsou kódovány jako parametry funkce select(). Příkladem je

$dbr = wfGetDB( DB_REPLICA );
$res = $dbr->select(
	'category',                                   // $table The table to query FROM (or array of tables)
	array( 'cat_title', 'cat_pages' ),            // $vars (columns of the table to SELECT)
	'cat_pages > 0',                              // $conds (The WHERE conditions)
	__METHOD__,                                   // $fname The current __METHOD__ (for performance tracking)
	array( 'ORDER BY' => 'cat_title ASC' )        // $options = array()
);

Tento příklad odpovídá dotazu

SELECT cat_title, cat_pages FROM category WHERE cat_pages > 0 ORDER BY cat_title ASC

JOINs jsou také možné; například:

$res = $dbw->select(
	array( 'watchlist', 'user_properties' ),
	array( 'wl_user' ),
	array(
		'wl_user != 1' ,
		'wl_namespace' => '0',
		'wl_title' => 'Main_page',
		'up_property' => 'enotifwatchlistpages',
	),
	__METHOD__,
	array(),
	array( 
		'user_properties' => array( 'INNER JOIN', array( 'wl_user=up_user' ) )
	)
);

Tento příklad odpovídá dotazu

SELECT wl_user FROM `watchlist` INNER JOIN `user_properties` ON ((wl_user=up_user)) WHERE (wl_user != 1) AND wl_namespace = '0' AND wl_title = 'Main_page'
AND up_property = 'enotifwatchlistpages'

Extension:OrphanedTalkPages provides an example of how to use table aliases in queries.

Argumenty jsou buď jednoduché hodnoty (například 'category' a 'cat_pages > 0') nebo pole, pokud je pro pozici argumentu předána více než jedna hodnota (například matice ('cat_pages > 0', $myNextCond)). Pokud předáte řetězec třetím nebo pátým argumentům, musíte při vytváření řetězce ručně použít databázi Database::addQuotes(), když sestavujete řetězec, protože to za vás wrapper neudělá. Hodnoty pro názvy tabulek (1. argument) nebo názvy polí (2. argument) nesmějí být kontrolovány uživatelem. Konstrukce pole pro $conds je poněkud omezená; může provádět pouze vztahy rovnosti a IS NULL (tj. WHERE key='value').

K jednotlivým řádkům výsledku můžete přistupovat pomocí smyčky foreach. Jakmile máte řádkový objekt, můžete použít operátor -> pro přístup ke konkrétnímu poli. Úplným příkladem může být:

$dbr = wfGetDB( DB_REPLICA );
$res = $dbr->select(
	'category',                                   // $table
	array( 'cat_title', 'cat_pages' ),            // $vars (columns of the table)
	'cat_pages > 0',                              // $conds
	__METHOD__,                                   // $fname = 'Database::select',
	array( 'ORDER BY' => 'cat_title ASC' )        // $options = array()
);        
$output = '';
foreach( $res as $row ) {
        $output .= 'Category ' . $row->cat_title . ' contains ' . $row->cat_pages . " entries.\n";
}

Který vloží abecední seznam kategorií s počtem položek, které má každá kategorie v proměnné $output. Pokud vystupujete jako HTML, ujistěte se, že chcete uniknout hodnotám z databáze pomocí htmlspecialchars()

Pohodlné funkce

MediaWiki version: 1.30

Pro kompatibilitu s PostgreSQL jsou idy vložení získány pomocí nextSequenceValue() a insertId(). Parametr pro nextSequenceValue() lze získat z příkazu CREATE SEQUENCE v maintenance/postgres/tables.sql a vždy odpovídá formátu x_y_seq, kde x je název tabulky (např. page) a y je primární klíč (např. page_id), např. page_page_id_seq. Například:

$id = $dbw->nextSequenceValue( 'page_page_id_seq' );
$dbw->insert( 'page', array( 'page_id' => $id ) );
$id = $dbw->insertId();

Pro některé další užitečné funkce, např. affectedRows(), numRows() atd., viz Manual:Database.php.

Základní optimalizace dotazu

Vývojáři MediaWiki, kteří potřebují psát dotazy na DB, by měli mít určité znalosti o databázích a s nimi spojenými problémy s výkonem. Opravy obsahující nepřijatelně pomalé funkce nebudou přijaty. Neindexované dotazy nejsou na MediaWiki obecně vítány, s výjimkou zvláštních stránek odvozených z QueryPage. Pro nové vývojáře je obvyklé předkládat kód obsahující dotazy SQL, které zkoumají obrovské množství řádků. Pamatujte, že COUNT(*) je O(N), počítání řádků v tabulce je jako počítání fazolí v kbelíku.

Replikace

Velké instalace MediaWiki, jako je Wikipedia, používají velkou sadu podřízených serverů MySQL replikujících zápisy na hlavní server MySQL. Pokud chcete psát kód určený pro Wikipedii, je důležité porozumět problémům spojeným s tímto nastavením.

Často se stává, že nejlepší algoritmus pro daný úkol závisí na tom, zda se replikace používá. Kvůli našemu neustálému centrování na Wikipedii často používáme pouze verzi vhodnou pro replikaci, ale pokud chcete, můžete použít wfGetLB()->getServerCount()>1 a zkontrolovat, zda je replikace při použití.

Lag

K Lag (nadměrnému zpoždění) dochází primárně, když jsou velké požadavky na zápis odesílány do masteru. Zápisy na masteru jsou prováděny paralelně, ale jsou replikovány do série, když jsou replikovány na slaves. Master píše dotaz do binlogu, když je transakce potvrzena. WSlaves dotazují binlog a začnou provádět dotaz, jakmile se objeví. Mohou číst služby, zatímco provádějí dotaz na zápis, ale nebudou číst nic víc z binlogu a nebudou tedy provádět žádné další zápisy. To znamená, že pokud bude dotaz na psaní spuštěn po dlouhou dobu, budou slave zaostávat za masterem po dobu potřebnou k dokončení dotazu na zápis.

Lag může být zvýšen vysokým čtením. Vyrovnávač zatížení MediaWiki zastaví odesílání čtení slave, pokud je zpožděn o více než 30 sekund. Pokud jsou poměry zatížení nastaveny nesprávně nebo pokud je obecně příliš velké zatížení, může to vést k tomu, že se slave trvale zpožďuje kolem 30 sekund.

Pokud jsou všechny slaves zpožděny o více než 30 sekund (podle $wgDBservers ), MediaWiki přestane zapisovat do databáze. Všechny úpravy a další operace zápisu budou odmítnuty s chybou vrácenou uživateli. To dává slaves šanci vše dohnat. Než jsme získali tento mechanismus, slaves se pravidelně zpožďovali o několik minut, což ztěžovalo revizi posledních úprav.

Kromě toho se MediaWiki snaží zajistit, aby uživatel viděl události na wiki v chronologickém pořadí. Několik sekund zpoždění může být tolerováno, pokud uživatel uvidí konzistentní obrázek z následných požadavků. To se provádí uložením pozice hlavního binlogu v relaci a poté na začátku každé žádosti čekáním, až podřízená jednotka tuto pozici dohraje, než z ní provede jakékoli čtení. Pokud toto čekání vyprší, čtení je přesto povoleno, ale požadavek je považován za „zpožděný režim slave“. Opožděný režim slave lze zkontrolovat voláním wfGetLB()->getLaggedReplicaMode(). Jediným praktickým důsledkem v současné době je varování zobrazené v zápatí stránky.

Uživatelé prostředí Shell mohou kontrolovat zpoždění replikace pomocí getLagTimes.php ; ostatní uživatelé s rozhraním siteinfo API.

Databáze mají často také své vlastní monitorovací systémy, viz například wikitech:MariaDB#Replication lag (Wikimedia) a wikitech:Help:Toolforge/Database#Identification lag (Wikimedia Cloud VPS).

Vyhnutí se Lag

Chcete-li se vyhnout nadměrnému zpoždění, dotazy, které píší velké množství řádků, by se měly rozdělit. Obvykle psát vždy jeden řádek najednou. Víceřádkový VLOŽIT (INSERT) ... VYBRAT (SELECT) dotazy jsou nejhorší pachatelé a je třeba se jim úplně vyhnout. Místo toho proveďte nejprve výběr a poté vložení.

Práce se zpožděním

I přes naše nejlepší úsilí není praktické zaručit prostředí s malým zpožděním. Zpoždění replikace bude obvykle kratší než jedna sekunda, ale někdy může být až 30 sekund. Pro škálovatelnost je velmi důležité udržovat nízké zatížení masteru, takže jednoduše odeslání všech vašich dotazů na master není odpověď. Pokud tedy skutečně potřebujete aktuální data, doporučuje se následující postup:

  1. Rychlý dotaz na master pro pořadové číslo nebo časové razítko
  2. Spusťte úplný dotaz na slave a zkontrolujte, zda odpovídá datům, která jste dostali od mastera
  3. Pokud se tak nestane, spusťte úplný dotaz na hlavním počítači

Aby se předešlo zaplavení master pokaždé, když slaves zpozdí, použití tohoto přístupu by mělo být omezeno na minimum. Ve většině případů byste měli číst pouze z podřízené jednotky a nechat uživatele vypořádat se zpožděním.

Uzamčení sporu

Vzhledem k vysoké míře zápisu na Wikipedii (a některých dalších wiki) musí být vývojáři MediaWiki velmi opatrní při strukturování svých zápisů, aby se vyhnuli dlouhodobým zámkům. Ve výchozím nastavení MediaWiki otevře transakci při prvním dotazu a potvrdí ji před odesláním výstupu. Zámky se budou držet od doby, kdy je dotaz proveden, až po potvrzení. Takže můžete zkrátit dobu uzamčení provedením co nejvíce zpracování, než začnete psát dotazy. Operace aktualizace, které nevyžadují přístup k databázi, mohou být zpožděny až po odevzdání přidáním objektu do $wgPostCommitUpdateList.

Tento přístup často není dost dobrý a je nutné uzavřít malé skupiny dotazů do jejich vlastní transakce. Použijte následující syntaxi:

$factory = \MediaWiki\MediaWikiServices::getInstance()->getDBLoadBalancerFactory();
$factory->beginMasterChanges(__METHOD__);
/* Do queries */
$factory->commitMasterChanges(__METHOD__);

Použití blokovacích čtení (např. klauzule FOR UPDATE) se nedoporučuje. Jsou špatně implementovány v InnoDB a způsobí pravidelné chyby zablokování. Je také překvapivě snadné ochromit wiki s tvrzením o uzamčení.

Namísto zamykání čtení zkombinujte své existenční kontroly do svých písemných dotazů pomocí vhodné podmínky v klauzuli WHERE UPDATE nebo pomocí jedinečných indexů v kombinaci s INSERT IGNORE. Potom pomocí ovlivněného počtu řádků zjistěte, zda byl dotaz úspěšný.

Schéma databáze

Při vytváření databází nezapomeňte na indexy, na zkušební wiki s desítkami stránek mohou věci hladce fungovat, ale skutečná wiki se zastaví. Podrobnosti viz výše.

Konvence pojmenování viz Návod: Konvence kódování / databáze.

SQLite kompatibilita

Při psaní definic tabulek MySQL nebo upgradování oprav je důležité si uvědomit, že SQLite sdílí MySQL schéma, ale funguje to pouze tehdy, pokud jsou definice psány specifickým způsobem:

  • Primární klíče musí být deklarovány v deklaraci hlavní tabulky, ale normální klíče by měly být přidány samostatně s CREATE INDEX:
Špatně Správně
CREATE TABLE /*_*/foo (
    foo_id INT NOT NULL AUTO_INCREMENT,
    foo_text VARCHAR(256),
    PRIMARY KEY(foo_id),
    KEY(foo_text)
);
CREATE TABLE /*_*/foo (
    foo_id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
    foo_text VARCHAR(256)
) /*$wgDBTableOptions*/;

CREATE INDEX /*i*/foo_text ON /*_*/foo (foo_text);

Do definice hlavní tabulky by však měly být zahrnuty primární klíče zahrnující více než jedno pole:

CREATE TABLE /*_*/foo (
    foo_id INT NOT NULL,
    foo_text VARCHAR(256),
    PRIMARY KEY(foo_id, foo_text)
) /*$wgDBTableOptions*/;

CREATE INDEX /*i*/foo_text ON /*_*/foo (foo_text);
  • Nepřidávejte do příkazu více než jeden sloupec:
Špatně Správně
ALTER TABLE /*_*/foo
    ADD foo_bar BLOB,
    ADD foo_baz INT;
ALTER TABLE /*_*/foo ADD foo_bar BLOB;
ALTER TABLE /*_*/foo ADD foo_baz INT;
  • Nastavte explicitní výchozí hodnoty při přidávání sloupců NOT NULL:
Špatně Správně
ALTER TABLE /*_*/foo ADD COLUMN foo_bar varchar(32) BINARY NOT NULL;
ALTER TABLE /*_*/foo ADD COLUMN foo_bar varchar(32) BINARY NOT NULL DEFAULT '';

Základní kontroly kompatibility můžete spustit pomocí:

Nebo, pokud potřebujete testovat aktualizaci, postupujte takto:

  • php sqlite.php --check-syntax tables.sql (s novým tables.sql)
  • php sqlite.php --check-syntax tables.sql filename.sql
    • Protože záplaty DB aktualizují také soubor tables.sql, pro tento by jste měli předat předběžnou verzi tables.sql (soubor s úplnou definicí DB). Jinak můžete získat chybu, pokud přetáhněte index (protože již neexistuje v tables.sql, protože jste jej právě odstranili).

Výše uvedené předpokládá, že jste v $IP/maintenance/, jinak předejte úplnou cestu k souboru. Pro opravy rozšíření použijte ekvivalent těchto přípon.

Viz též