Translations:Manual:Robots.txt/23/tr

Yalnızca bir botun webi hangi yolları koyabileceğini belirleyebilirsiniz. Yalnızca düz sayfa alanına izin vermek bile, iki yüz bin sayfadan fazla bir örümcek tarafından saniyede iki veya üç sayfa talep edildiğinde büyük bir yük olabilir.