Translations:Manual:Robots.txt/23/zh

您只能指定允许机器人爬行的“路径”. 当一个超过20万页的蜘蛛每秒请求两到三页时，即使只允许普通页面区域也可能是一个巨大的负担.