Translations:Manual:Robots.txt/1/de

robots.txt-Dateien sind Teil des Robots-Exclusion-Standards und kann mit $1 helfen. Sie sagen Web-Bots, wie eine Seite gecrawlt werden soll. Eine robots.txt-Datei muss im Webstamm einer Domain abgelegt werden.