Translations:Manual:Robots.txt/1/ru

Файл robots.txt часть Robots Exclusion Standard, и может помочь с. Он сообщает веб-роботам как нужно индексировать веб-сайт. Файл robots.txt должен быть помещен в корневой каталог домена.