详细介绍Sitemap的语法规则和搜索引擎搜录方法。

本文详细介绍了robots.txt的作用、语法、配置规则，同时针对搜索引擎爬虫的另外两种更为细粒度的规范Robots Meta、X-Robots-Tag进行说明。