Translations:Manual:Robots.txt/1/pl

Pliki robots.txt są częścią Standardu Wykluczeń Robotów. Informują pająki sieciowe jak mają indeksować stronę. Ten plik musi znajdować się w katalogu głównym domeny.