Robots协议对于seo从业人员来说是一个不可不谈的话题,但是很多的盆友对这个协议并不是很了解,本文将会为大家做一些相关的介绍!
[Robots协议是什么? ]
Robots协议跟搜索有关,其实是一个一个搜索引擎的国际默认公约,这样说,大家可能不好理解,下面我们与大家详细介绍下Robots是什么意思以及Robots协议相关介绍
[什么是Robots协议?360违反Robots协议会导致网民隐私? ]
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。刚开始不遵守,现在好像顶不住压力,现在也遵循robots协议了。不遵守可能导致隐私泄露比如不像让蜘蛛抓取的页面[如果我的回答对你有帮助,请选择‘有用’支持一下,谢谢啦]
Robots协议有什么作用呢? ]
Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。