巨推学院

南京seo顾问:网站robots的写法和注意事项

网站的后台内部数据要保密,防止被黑客等不法分子攻击网站安全和窃取资料文件,以及和搜索引擎蜘蛛遵守robots协议.一:什么是robotsrobots是一个协议,给搜索引擎蜘蛛看的,告诉搜索引擎那些文件不准抓取,那些文件 ...

网站的后台内部数据要保密,防止被黑客等不法分子攻击网站安全和窃取资料文件,以及和搜索引擎蜘蛛遵守robots协议.

南京seo顾问:网站robots的写法和注意事项

一:什么是robots

robots是一个协议,给搜索引擎蜘蛛看的,告诉搜索引擎那些文件不准抓取,那些文件可以抓取,就像一个守门

的保安站在门口,有好比如入学先要看校规一样,robots文件是放在根目录里面的,格式为robots.txt

二:robots文件解读

User-agent: *

User-agent指的是针对谁,允许谁的意思,*指的匹配所有的意思,整句话可以理解为允许所有的意思

User-agent: Baiduspider指的是允许百度蜘蛛抓取

allow指的是允许

/指的是目录下面的层级,路径层次

allow:/ 指的是允许抓取整个网站的目录

Disallow指的是不允许

Disallow:/ 指的是不允许抓取整个网站的目录

Disallow: /data/指的是不允许抓取data/下面的文件

$:美元符号指的是匹配文件类型的意思,比如:jpg,png,txt,html等文件格式

三:robots需要屏蔽的内容

Disallow: /api/

Disallow: /data/

Disallow: /sourcel/

Disallow: /install/

Disallow: /template/

四:网站地图可以写入robots吗

网站地图有两种,一种是html的,另一种是xml的,蜘蛛第一时间访问的是robots,所以我们把网站的地图也放在这里,更容易让蜘蛛知道我们网站的文件有什么,两种文件地图都可以写入robots里面,比如

Sitemap: http://www.habaijian.com/sitemap.xml

Sitemap: http://www.habaijian.com/sitemap.html

五:如何写一个简单的robots

User-agent: *

Disallow: /api/

Disallow: /data/

Disallow: /sourcel/

Disallow: /install/

Disallow: /template/

Sitemap: http://www.habaijian.com/sitemap.xml

Sitemap: http://www.habaijian.com/sitemap.html

注意点:不要随便屏蔽蜘蛛,会影响收录,收录都没了,那么我们也就没什么流量,流量没有网站就完了,robots的生效时间一般是9天或者两个月左右。

分享来自:http://www.habaijian.com/rumenjiaocheng/142.html
分享到:
版权声明:本网页内容(包含但不限于文字、图片、视频)由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至zhanzhangtoutiao@163.com举报,一经查实,本站将立刻删除。
投诉

登录后发表评论

已有 0 人参与

评论

相关推荐

小蚂蚁

2083篇文章

TA的文章
广告
广告
广告
  • 今日热文
  • 本周热文
  • 本月热文
小编推荐    
热门搜索     更多>>>
返回顶部