Translations:Manual:Robots.txt/7/zh

MediaWiki生成了许多仅对真人有用的页面：例如旧版本和差异页面倾向于复制文章中的内容. 编辑页面和大多数特殊页面是动态生成的，这使得它们仅对人工编辑有用，并且服务、维护成本相对较高. 如果没有其他指示，爬虫可能会尝试索引数千个相似的页面，从而使Web服务器负载过重.