Translations:Manual:Robots.txt/30/pt-br

Enquanto o robots.txt impede bots não-malignos de baixar a URL, não os impede de indexá-la. Isso significa que elas ainda podem aparecer nos resultados do Google e outros mecanismos de busca, desde que existam links externos apontando para eles. (O que é pior, uma vez que que os bots não baixam essas páginas, meta tags noindex colocadas nelas não terão efeito.) Para páginas wiki individuais, a palavra mágica $noindex pode ser uma opção mais confiável para mantê-las fora dos resultados de busca.