Translations:Manual:Robots.txt/23/ja

ボットがスパイダーできる範囲は、パスのみ指定できます. 平文のページ領域のみ許可するだけでも、1秒間に2、3ページを読み込むスパイダーが20万ページを処理しようとすると、大きな足かせになります.