Translations:Manual:Robots.txt/23/fr

Vous ne pouvez spécifier quels chemins un robot a le droit de fouiner. Même le fait d'autoriser simplement la zone entière de la page peut devenir un lourd fardeau lorsque deux ou trois pages par seconde sont demandées par un agent fouineur sur les deux cent mille pages.