Translations:Manual:Robots.txt/1/pt-br

Os arquivos robots.txt são parte do Padrão de Exclusão de Robôs, e pode ajudar com. Eles dizem ao robô web como indexar um site. Um arquivo robots.txt deve ser colocado no web root de um domínio.