Translations:Manual:Robots.txt/24/fr

Certains robots ont une spécification adaptée pour cela; Inktomi répond à une ligne « Crawl-delay » (délai d'attente) qui peut spécifier le temps minimum en secondes entre les demandes (par défaut 15 secondes).