Translations:Manual:Robots.txt/23/fr

Vous ne pouvez spécifier quels chemins un robot a le droit d'explorer. Même le fait d'autoriser simplement la zone entière de la page peut devenir un lourd fardeau lorsque deux ou trois pages par seconde sont demandées par un robot d'indexation sur les deux cent mille pages.