網站地圖

站点地图（英语：Sitemap）描述了一个网站的架构。 它可以是一个任意形式的文档，用作网页设计的设计工具，也可以是列出网站中所有页面的一个网页，通常采用分级形式。这有助于访问者以及搜索引擎的爬虫找到网站中的页面。
一些开发者认为网站索引是组织网页的一种更合适的方式，但是网站索引通常是A-Z索引，只提供访问特定内容的入口，而一个网站地图为整个站点提供了一般的自顶向下的视图。

XML网站地图sitemaps

sitemaps是站点管理员向搜索引擎爬虫公布站点可被抓取页面的协议，sitemap文件内容必须遵循XML格式的定义。每个URL可以包含更新的周期和时间、URL在整个站点中的优先级。这样可以让搜索引擎更佳有效的抓取网站内容。
Google引入了Google网站地图使得网页开发者可以发布整个站点的链接列表。其基本假设是一些站点拥有大量动态页，而这些页面只能通过表单和用户登录来访问。网站地图文件可以被用来指引网络蜘蛛如何找到这类页面。Google、MSN、Yahoo以及Ask都支持网站地图协议。
由于MSN、Yahoo、Ask以及Google使用同样的协议，因此拥有一个站点地图可使这四个最大的搜索引擎的页面信息保持最新。网站地图不保证所有的链接可被抓取，而被抓取了也不一定会做成索引。但是，一个站点地图仍然是使一个搜索引擎获得你整个站点信息的最保险的方式。Google、Yahoo、MSN支持站点地图的联合声明
XML站点地图替换掉了旧的通过在搜索引擎提交页面填写"提交给搜索引擎"的表单的方式。现在网页开发者无需直接提交一个站点地图，而是等待搜索引擎来找到它。

Google网站地图的大小限制

各大搜索引擎为了优化网站地图的读取效率，限制了单个网站地图文件的大小，以Google为例：每个站点地图文件中包含的网址不得超过50000 个，且压缩前的文件大小不得超过50 MB。为了提高读取效率，一般搜索引擎都会建议将网站地图文件分割成多个较小的文件，这样不仅可以加快读取速度，也可以让搜索引擎每次只需要读取最新的网站地图文件，为网站减少带宽的浪费。