Translations:Manual:Robots.txt/24/pt-br

Alguns bots têm uma especificação personalizada para isto; O Inktomi responde a uma linha "Crawl-delay" que pode especificar o tempo mínimo, em segundos, entre hits. (Seu padrão é de 15 segundos.)