Translations:Manual:Robots.txt/26/ja

カスタム作成のボットの中には、あまり賢くない処理や、完全に悪意のあるものが含まれ、robots.txtにまったく従わないものです（あるいはパスの制限に従ってもスパイダーが非常に速いせいでサイトが減速してしまいます）. 特定のユーザエージェントの文字列または違反者の個々のIPをブロックする必要があるかもしれません.