Translations:Manual:Robots.txt/26/hu

Néha egy egyedi bot nem túl okos, vagy egyenesen káros, és nem tartja be a robots.txt-t (vagy betartja az útkorlátozásokat, de nagyon gyorsan halad, lassítva az oldalt). Szükséges lehet bizonyos user agentek vagy a támadók IP-címeinek blokkolása.