Manual:$wgDefaultRobotPolicy/pt-br

Detalhes
Permite especificar a política de robôs padrão para todas as páginas da wiki O padrão é incentivar a indexação e o seguimento de links. Isso pode ser substituído em uma base por namespace e/ou por artigo.

Por exemplo

proibiria a indexação e o seguimento de links em todas as páginas fora do namespace principal.

Links externos

 *  tag Sobre os Robôs (www.robotstxt.org)