Translations:Manual:Robots.txt/26/zh

有时，自定义编写的机器人不是很聪明，或者完全是恶意的，根本不遵守robots.txt（或者遵守路径限制，但蜘蛛速度很快，在网站上爬行）. 可能需要屏蔽特定的用户代理字符串或违法者的个人IP.