Translations:Manual:Robots.txt/26/pt-br

Às vezes, um bot escrito sob medida não é muito inteligente ou é completamente malicioso e não obedece o robots.txt em tudo (ou obedece as restrições de caminho, mas rastreia muito rapidamente, atolando o site). Pode ser necessário bloquear strings de agente de usuário específicas ou IPs individuais de infratores.