网址导航网首页

嗨,欢迎来到25Qi网址导航

站长QQ:2598903095

SEO学习

你了解robots.txt协议文件是什么吗? robots协议的发展历史你知道吗?

时间:2021-10-29 丨 作者:SEO学习网站 丨 关键词:robots
搜索引擎出来的时候,搜索引擎相关算法是没有那么完善的,随便扔一个网站都可以得到一个很好的排名,更深入一点讲,就是搜索引擎在网页抓取方面不太友好。我们知道,网站上不是所有的数据都是能够公开的,对于一些比较隐私的内容,我们是不想公开的,不想别别人发现,特别是比较重要的内容。
 
举个简单的例子,我们都有后台登入页面吧,你希望你的网站后台登入被别人发现吗?应该不太愿意吧,万一哪个黑客对你的网站感兴趣,那岂不是便宜了这些人,跟严重的方面来讲,金融行业相关私密数据哪能随便给你抓取到,当然涉及机密的数据,是有专门的存储服务器来存储,是有各种安全防护网保护的,今天我们不是讨论安全方面的东西。而这个时候robots.txt协议文件就出现了。关于robots.txt协议文件是什么,我们下一步深入讨论。

robots协议
 

1 Robots.txt协议文件是什么

 
对于刚接触互联网的伙伴,特别是有自己网站的伙伴们,robots.txt是什么估计一时也不清楚,其实以目前的搜索引擎算法,robots.txt文件也并不是必备的,通常情况下,搜索引擎不会抓取你不想公开的链接,所以这一点搜索引擎大多数情况下可以做到,但是为了以防万一,robots.txt是需要有的。
 
robots.txt协议文件是什么?通俗来讲,它只是一套搜索引擎爬虫的法律规定。当然,从人类角度来讲,它还不具有法律效应,更多的是道德层面,因此网络爬虫有时候并不会按照这个规则来抓取你的网站。
 

2 robots发展历史

 
robots是机器人的意思,当然这套协议是从国外传进国内的,这套协议标准最初是由Martijn Koster于1994年在www- talk邮件列表上提出的,该列表是当时与www相关活动的主要沟通渠道。另外Charles Stross曾经表示,他曾经编写了一些垃圾爬虫,试图让其在自己的网站上进行抓取,但均遭到robots的拒绝,因此,Koster提出robots.txt协议很快得到了大家的广泛认可,不管是现在,还是在未来,网络爬虫都将遵循这个标准。
 
比如国外的谷歌、WebCrawler、Lycos和AltaVista、bing、infoseek,以及国内的百度、搜狗、360等都将遵循这一规则。相关搜索引擎了解可以关注《国外搜索搜索引擎发展历史及十大搜索引擎推荐》
 
 

3 robots.txt协议文件出现的意义

 
robots协议文件标准的出现,意味着搜索引擎不再是可怕的“军阀”,随意的“烧杀掳掠”,robots.txt它将严格的限制搜索引擎爬虫程序的活动范围,从某种程度上看,搜索引擎在大部分情况下,都是遵循这一套协议。
 
 
robots.txt协议让人们的数据隐私得到一定的保护,我们不再为自己的后台数据泄露而感到惊恐,当然从规范的搜索引擎爬虫程序来说,这是可以实现的,但是我们并不能保证所有的爬虫程序都遵守这个协议,就如同人们会突破道德底线一样,因此,robots.txt协议文件显得比较温和。
 
robots.txt协议文件从某个角度来看,对web服务性能开销有一定的保护作用,阻止某些文件不给爬取,从而降低web服务器的频繁请求。
 
当然,robots.txt协议文件让我们实现了与搜索引擎爬虫沟通的机会,如果你有重点页面需要优先抓取,那么也可以通过robots.txt协议文件来实现。
 
另外,如果你不喜欢某些爬虫程序,比如俄罗斯yandex、新浪Iaskspider、Yahoo! Slurp等,这些也可以进行屏蔽,避免不必要的资源浪费。
 
在下一篇中,我们将会详细讲解robots.txt协议文件作用及相关名词解释、书写方式。
在线随机小姐姐图片换一批
最新收录
  • 黄飞鸿热炙理疗

    黄飞鸿热灸馆加盟项目,整店输出模式,专业热灸加盟技术培训,一个专业做中医养生的连锁品牌。源自黄飞鸿的嫡孙继承了黄飞鸿先生的遗志,多年来一直坚定不移地致力于大健康产业,并创立了黄飞鸿热灸馆;主要业务服务有黄飞鸿热炙理疗,黄飞鸿热炙理疗馆加盟,黄飞鸿理疗馆,黄飞鸿热灸,黄飞鸿养生馆加盟,黄飞鸿养生馆加盟,黄飞鸿热灸馆,黄飞鸿热灸体验馆,黄飞鸿热灸馆加盟,黄飞鸿热灸理疗馆,黄飞鸿热灸膏

  • tp钱包

    TokenPocket钱包支持数字资产存储。每天走势掌握,功能强大,在线管理数字货币,超多币种推送,多种交易方式,私钥用户自持且轻便易用的以太坊轻钱包。tp支持多资产类型,如:TokenPocket、ETH、QTUM、AE、BTM等大多数主流币种,让tp钱包更好地融入你的生活。

  • 浙江丰安齿轮股份有限公司

    浙江丰安齿轮股份有限公司成立于1999年1月,是一家集开发、设计、制造、销售服务为一体的齿轮专业制造商,占地面积93亩,总资产3亿余元,主要设备400余台。公司于2017年1月在“新三板”挂牌,股票代码870508。公司以精湛的技术、过硬的品质、优良的服务来赢得客户满意,努力打造业界一流齿轮制造企业。

  • 浙江中孚环境设备股份有限公司

    我公司系高新技术企业,专业从事空气净化的产品生产、工程服务及洁净技术的应用与研究,提供从空调处理设备、空调自动控制系统到洁净室系统全面服务,为各类工业用空气处理提供一揽子解决方案及交钥匙工程。   产品遍及全国几十个省市,并出口至巴基斯坦、伊朗等国家。我公司在化纤工艺空调领域精耕细作20余年,2001年进入医药、电子等行业的净化空调设备。   本公司拥有雄厚的技术力量和良好的售后服务,承接系统设计、技术咨询、产品制造、技术改造等项目。设备采用工业计算机、可编程序(PLC)控制器、数字直接控制器(DDC)等智能控制器,可实现节能显著的运行系统(节能策略有:新回风的焓值控制、二次回风、送风机的变频调速;非露点控制方案在过渡季节节能50%。在化纤纺丝行业采用的节能措施,同样可在医药行业的净化空调上使用);采用与国际惯例接轨的CAD设计和质量保证体系。

  • 江苏双友智能装备科技股份有限公司

    双友科技为客户提供直缝埋弧焊管生产线、直缝高频焊管生产线、螺旋埋弧焊管生产线、钢管内外防腐生产线,石油套管生产线,热处理生产线以及其他系列产品。同时公司致力于为高端铝业服务,为客户提供更为高效,节能,环保,安全的铸铝生产线及其相关设备。公司积极推进国际化发展战略,逐步实现品牌、市场、团队、技术、管理与国际化标准接轨。此外,公司与众多国际知名管材和铝材生产商建立了紧密的合作关系,在中东设立了海外分支机构。双友科技旨在将中国的高端制造带给世界。

  • 南京三超新材料股份有限公司

    南京三超新材料股份有限公司成立于1999年1月,注册资本9360万元,2017年4月21日,在深圳创业板成功挂牌上市。占地面积130亩,建筑面积约86,000平方米。是一家专业从事金刚石、立方氮化硼工具的研发、生产与销售的高新技术企业,现拥有金刚石砂轮和金刚石线两大类相互协同的产品系列,应用于硅、蓝宝石、石英、铁氧体、钕铁硼、陶瓷、玻璃、硬质合金等硬脆材料的精密切割、磨削与抛光。 公司自成立以来,始终坚持"以人为本、技术优先"的发展理念,先后引入多名外籍专家,并在日本成立了超硬材料工具的专业研发机构。经过多年研发,公司成为国内最早通过自主研发掌握金刚线制造的相关技术,成功实现产业化的企业之一,并且打破了国外企业的技术垄断,与新研发成功的硅片背面减薄砂轮、硅片倒角砂轮、PAD修整器等产品,为半导体及太阳能光伏行业提供了优质的金刚石工具,并凭借良好的品质与高性价比,赢得了众多实力用户认可,在国内形成了较高的行业影响力。