Translations:Manual:Robots.txt/1/pt-br

Os arquivos robots.txt são parte do Padrão de Exclusão de Robôs. Eles dizem ao robôs web como indexar um site. Um arquivo robots.txt deve ser colocado no web root de um domínio.