Translations:Manual:Robots.txt/1/pt-br

Os arquivos robots.txt são parte do Padrão de Exclusão de Robôs. Eles dizem ao robô web como indexar um site. Um arquivo robots.txt deve ser colocado no web root de um domínio.