Translations:Manual:Robots.txt/1/zh

robots.txt是机器人例外标准的一部分，并可帮助. 它描述网络爬虫如何对一个站点建立索引. robots.txt必须被放置在网站根目录下.