Translations:Manual:Robots.txt/24/ja

ボットによってはカスタムの仕様があります. 例えばInktomiの場合、ヒット数の最小遅延時間を秒単位で指定できる「Crawl-delay」行に反応します（既定は15秒. ）