Translations:Manual:Robots.txt/24/tr

Bazı botların bunun için özel bir özelliği vardır; Inktomi, isabetler arasındaki minimum gecikmeyi saniye cinsinden belirleyebilen bir "Crawl-delay" satırına yanıt verir. (Varsayılan değerleri 15 saniyedir.)