Translations:Manual:Robots.txt/26/tr

Bazen özel olarak yazılmış bir bot çok akıllı değildir veya düpedüz kötü niyetli olabilir ve robots.txt dosyasına hiç uymaz (veya yol kısıtlamalarına uyuyor ancak çok hızlı örümceklerle siteyi tıkıyor). Belirli kullanıcı aracısı dizelerini veya suçluların bireysel IP'lerini engellemek gerekli olabilir.