SEO教程 robots.txt文件常见用途
1. 允许所有的搜索引擎访问网站的任何部分
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 禁止所有搜索引擎访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
4. 禁止网站上的程序文件被搜索引擎蜘蛛索引,这样可以节省服务器资源。
一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
注:每个网站的文件夹名字可能会不一样
网站发生降权的原因有很多种,其中因为网站友情链接而发生降权是占比例很大的一项,如果发生了网站降权现象,管理者就要及时地检查友情链接,看是不是因为对方的网站无法访问或者是访问缓慢等原因造成的。如果一个网站有比较多的友情链接而对方并没有及时地链接到自己的网站,这种情况也需要进行及时的处理,这也会导致发生网站的数据不正常,所以管理者们在网站的友情链接方面一定要定期并且及时地进行查看。