Translations:Manual:Robots.txt/40/pt-br

Se não for orientado de outra forma, as web spiders podem tentar indexar milhares de páginas semelhantes, sobrecarregando o servidor.