Manual:Robots.txt/pt-br

Os arquivos robots.txt são parte do Padrão de Exclusão de Robôs. Eles dizem ao robô web como indexar um site. Um arquivo robots.txt deve ser colocado no web root de um domínio.

Previna toda indexação
Este código impede que todos os bots indexem todas as páginas em seu site: Se você só deseja bloquear uma certa web spider, substitua o asterisco com o agente de usuário da web spider.

Impeça a indexação de páginas que não sejam artigos
O MediaWiki gera muitas páginas que são úteis apenas para os seres humanos vivos: revisões antigas e diffs tendem a duplicar o conteúdo encontrado em artigos. Edite as páginas e a maioria das páginas especiais são geradas dinamicamente, o que as torna úteis apenas para os editores humanos e relativamente dispendioso para os servidores. Se não for orientado de outra forma, as web spiders podem tentar indexar milhares de páginas semelhantes, sobrecarregando o servidor.

Com URLs curtas
É fácil evitar que web spiders indexem páginas que não são artigos se você estiver usando URLs curtas ao estilo Wikipédia. Supondo que artigos são acessíveis através de /wiki/Some_title e qualquer outra coisa está disponível através de /w/index.php?title=Some_title&someoption=blah: Tenha cuidado, porém! Se você colocar essa linha por acidente: você vai bloquear o acesso ao diretório /wiki, e os mecanismos de busca irão ignorar sua wiki!

Sem URLs curtas
Se não estiver usando, restringir robôs é um pouco mais difícil. Se você estiver executando PHP como CGI e você não tem URLs embelezadas, de modo que os artigos sejam acessíveis através de /index.php?title=Some_title: Se estiver executando o PHP como módulo do Apache e você não tenha embelezado as URLs, de modo que os artigos são acessíveis através de /index.php/Some_title: As linhas sem os dois pontos no final restringem as páginas de discussão desses namespaces.

As wikis que não estão em inglês podem precisar adicionar várias traduções das linhas acima.

Você pode tentar também porque alguns robôs como o Googlebot aceitam esta extensão curinga para o padrão robots.txt, o que impede a maioria do que nós não queremos robôs vasculhando, assim como a solução /w/ acima.

Permitir a indexação de páginas brutas pelo Internet Archiver
Você pode querer permitir que o Internet Archiver indexe páginas brutas, para que o wikitexto bruto das páginas estejam em gravação permanente. Desta forma, será mais fácil, caso a wiki caia, para que as pessoas coloquem o conteúdo em outra wiki. Você poderia usar:

Controle de taxa
É possível especificar apenas quais caminhos um bot é permitido rastrear. Mesmo permitindo apenas a área de página simples, pode ser um enorme fardo, quando duas ou três páginas por segundo estão sendo solicitadas por uma web spider, mais de duzentas mil páginas.

Alguns bots têm uma especificação personalizada para isto; O Inktomi responde a uma linha "Crawl-delay" que pode especificar o tempo mínimo, em segundos, entre hits. (Seu padrão é de 15 segundos.)

Bots maus
Às vezes, um bot escrito sob medida não é muito inteligente ou é completamente malicioso e não obedece o robots.txt em tudo (ou obedece as restrições de caminho, mas rastreia muito rapidamente, atolando o site). Pode ser necessário bloquear strings de agente de usuário específicas ou IPs individuais de infratores.

Em termos mais gerais, o pedido de limitação pode parar esses bots sem a necessidade de sua intervenção repetida.

Uma estratégia alternativa ou complementar é implantar uma spider trap.

Rastreamento X indexação
Enquanto o robots.txt impede bots não-malignos de baixar a URL, não os impede de indexá-la. Isso significa que elas ainda podem aparecer nos resultados do Google e outros mecanismos de busca, desde que existam links externos apontando para eles. (O que é pior, uma vez que que os bots não baixam essas páginas, meta tags noindex colocadas nelas não terão efeito.) Para páginas wiki individuais, a palavra mágica  pode ser uma opção mais confiável para mantê-las fora dos resultados de busca.