Translations:Manual:Robots.txt/1/zh

robots.txt是机器人例外标准的一部分. 它描述网络蜘蛛如何对一个站点建立索引. robots.txt必须被放置在网站根目录下.