对于网站来说，网站地图并不是必须的，但是对于搜索引擎来说，却是很有益的。网站管理员也可以很容易地将网站上可用于爬行的网页告知Google /baidu等搜索引擎。Sitemap 它是一个 XML 文件，它列出了一个网站的完整或者部分URL以及每个URL的附加schema元数据，这样搜索引擎就可以使用网站地图查看网站上的最新网页，或者所有的网页，包括所有的图片、视频内容等等。结构大致是下图所示：
在左图中，假如是一个baiduspyder，它会立即在一个网站地图中从首页（homepage）找到第9页，因为它是顺着首页慢慢深入爬行，进而找到第9页。但是呢，在右图所示的网站上，它就将不得不跳过6个网页才能找到第9页，这样的话就会很慢很慢，效率也很低。
使用xml sitemap网站地图的好处
第一个好处围绕着网站能够将额外的信息传递给搜索引擎，比如，你网站有的页面蜘蛛没有发现，但是你的网站地图恰恰列了，那么蜘蛛就有概率去发现并且去抓取它；它可以提供搜索引擎的抓取优先度信息。在网站地图中有一个可选的标签，那就是用于页面的优先级。这表明了一个给定页面对于网站上其他所有页面的重要性，搜索引擎也会根据优先级信息对网站进行检索，比如我们可以把首页调成1.0；传递页面更新时间信息，怎么理解？大家都知道sitemap有另外两个可选的标签(lastmod 和 changefreq)选项，它可以将更多的信息传递给搜索引擎，帮助他们以更优化的方式爬行你的网站，"lastmod"告诉它们，当页面最后一次更改时间，而changefreq 则指出页面可能会改变的频率，这样蜘蛛时间长了就会慢慢遵循这个规律去爬行，就像你选一家餐厅，你熟悉了菜单，自然第二次去点菜就知道怎么点了。
那么怎么去看蜘蛛的爬取情况，知道自己跌网站地图的设计效率呢？那就是：
1、网站日志weblog分析
2、Google/baidu 站长后台的爬取信息统计
比如下图是Google站长后台的统计情况，大家可以自己去看看：
那么很多人会问：网站地图能不能帮助我提高搜索排名。根据我的经验呢，其实没发现多大帮助，其实网站地图不是一个排名因素，在网站地图中列出 url 对更高的搜索排名没有什么直接影响，我更多的觉得对蜘蛛的爬取起到积极作用。所以呢，就像开头说的，不是每个网站都需要的网站地图。如果你需要一个，也并不一定非得是一个sitemap.xml。你完全可以设计多种类型的网站地图，比如一个 RSS 源或者一个 sitemap.html 的特殊扩展，比如我们看到京东，天猫的导航，其实也是一种sitemap，只是它是直接展现的而已，实际上它就是一种html网站地图，再比如hao123导航也是如此。
什么情况下需要sitemap网站地图？
这个问题仁者见仁，一般情况下，是没有硬性规定，非要用的，都是结合自己网站seo优化情况去判断：
1、你有一个规模很大的网站，比如论坛，CMS类型: 一个有100页的网站并不是很大。即使是一个有1000页的网站也是相当小的，而且一个网站地图有时候也没有必要。然而，对于更大的网站，这个时候你绝对应该考虑一下使用。比如你操作有一百万页的门户网站，或者电商平台。
2、你有了一个新网站，并且经常更改你网站的内容: 这个时候，网站地图可以帮助爬虫在发布后的一段时间内找到一个全新的网站，并且更快地索引新网页
3、当你的网站索引出现大幅度下滑的时候，可以考虑设计网站地图
sitemap的格式选择
一般的话，xml，html，Image sitemap，video sitemap以及RSS是最常用的，比如图片地图可以为每个网页添加多达1000张图片，图片不一定要和你的网站在同一个域下，你完全可以使用 CDN (内容传递网路)。rss其实也是和xml差不多，只是格式不一样，有兴趣的同学可以去看看开发文档：http://www.rssboard.org/media-rss，最后，建议大家避免使用网站地图生成器，因为很多生成的地图都是不会变化的，最好找你们的技术开发人员去设计一套动态的
适合所有企业的网站制作公司 其实就是三个字：责任心！你把你的项目交给一个网站公司，你们在不同的两个行业里，你根本不精通网站制作，你需要完全的信任他，如果这家公司有责任心，他会帮你考虑到你没有想到了，对你有用的，但是你又没提的，他帮你做到了，是不是这样的公司适合所有的企业。 我们再说一下什么样的公司有责任心，一般我们不建议定制类网站找业务员来谈，业务员他只负责的业务，他学习的也是业务知识，他不学习网页策划与网页设计知识，他提供不了良好的建议，而且当网站制作的合同签订时，他的职责结束了，他需要交付给设计师，即使他再有责任心，但因为他所处的位置，导致他的发言权不大，所以他提供不了制作上的帮助，一般网页制作公司的领导，他更关注的是网页完成后你是否满意，是否会给他介绍客户，是否会再长久的合作下去。所以如果你非常重视你的网站建设，那尽量找这个网站公司的领导来沟通，他能调动起公司最好的资源来服务你的网站。
减少网站中的一些重复页面 我不知道你是否读过百度的优化指南，如果你有，我相信你会知道，在指南中有一页明确的指示。如果有其他不同的URL链接，搜索引擎蜘蛛会选择其中一个作为主要标准，其他相同页面的URL链接也会收录，但这些重复包含的页面面对面对搜索引擎非常不友好，甚至会让他们认为你的网站是低质量的。当然，有很多方法可以解决这个问题。例如，我们可以使用robots文件来封禁这种重复的URL地址，告诉蜘蛛不要抓取这些地址，或者使用跳转的形式将一系列URL跳转到我们自己设置的页面。
扫描二维码