Translations:Manual:Robots.txt/23/pt-br

É possível especificar apenas quais caminhos um bot é permitido rastrear. Mesmo permitindo apenas a área de página simples, pode ser um enorme fardo, quando duas ou três páginas por segundo estão sendo solicitadas por uma web spider, mais de duzentas mil páginas.