Translations:Manual:Robots.txt/40/zh

如果没有其他指示，爬虫可能会尝试索引数千个相似的页面，从而使Web服务器负载过重.