robots.txt要怎么写 阐述Robots.txt的写法问题
今天发现公司网站一个用来测试的站竟然被大量收录，而我们的本意是不希望其被收录的，因为之前那是程序用来测试的，不用优化所以也就没告诉我，现在我发现了，而且是测试过后就将很多数据删除了，这会影响到主站，因为测试的是一个主站的耳机域名，绑定是一个二级目录。于是我着手针对此站写了一个robots协议：
User-agent: *Disallow: /
当然，robots协议并非是上面写的那么简单，上面是告诉任何搜索引擎不要收录的我网站内容而已，而很多情况下我们是不会这么做的，只是不希望某一部分不被收录和建立索引而已!那么，就牵扯到了robots.txt的写法问题，这里就借助王发利博客一起来看看robots协议的一些具体写法!
Robots.txt是一个文件,是用来告诉搜索引擎那些网页可以收录，那些不可以，是规范搜索引擎蜘蛛在索引网站时的索引范围。更好地保护那些我们不想被别人看见的隐私，私密文件! 这个很重要哦，看看曾经有人还为此打官司了，详文见《Robots协议案:百度败诉于360 法院判为自由竞争》！
Robots.txt文件建立注意事项：
1. 文件必须放在网站根目录下。
2. 文件名称必须全部用小写。
3. 即使你允许全部的网站内容均可被抓取，建议还是建一个空的robots文件最好。
4. Robots.txt虽然禁止了收录，但是有时候还是会出现在搜索结果中，比如非常热门和用户急需的某些信息，如果要完全禁止，建议写 Meta Robotx属性。例如：
<meta name="robots" content="index,follow">；<meta name="robots" content="noindex,follow">；<meta name="robots" content="index,nofollow">；<meta name="robots" content="noindex,nofollow">；当content需要包含多个属性的时候需要用英文逗号隔离，注意同种属性正反两个方面(例如：index与noindex)不能同时出现在content之中。
通常content属性里面的包含的标签有：
NOINDEX -不索引当前页面
NOFOLLOW -不跟踪当前页面中所有的链接
NOARCHIVE -在搜索结果中不保存当前页面的快照
NOSNIPPET - 在搜索结果中不采用当前页面的头部描述信息，且不保存当前页面的快照
NOODP -搜索结果中不使用
DMOZ中的描述信息，Yahoo、MSN也支持此类标签。
NONE -不索引当前页面以及其中的所有链接，跟“NOINDEX, NOFOLLOW” 含义相同
5. Robots只是一种规则，需要搜索引擎的配合。如若搜索引擎不遵守则无意义。
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的robot访问网站的任何部分
User-agent: *
Disallow:
例3. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事项：1.三个目录要分别写。2.请注意最后要带斜杠。3.带斜杠与不带斜杠的区别 (带斜杠/ 表示禁止某个目录下的所有文件被索引，不带斜杠/表示只禁止该该目录，如不带斜杠时wangfali.com/marketing-news 会不被收录，但是wangfali.com/marketing-news/3608.html 还是会正常收录)
例4. 允许访问特定目录中的部分url
假如王发利博客只需要seo-course目录下的3491.html允许访问即可，那就写：
User-agent: *
Allow: /seo-course/3491.html
Disallow: /seo-course/
注意事项：允许收录优先级要高于禁止收录。Disallow: /a/ 必须写在 Allow: /seo-course/3491.html 之后。其他目录以此类推，只需要将seo-course和3491替换成自己对于的目录和url即可!
例5. 通配符的使用例举,通配符包括("$" 结束符；"*"任意符)
User-agent: *
Disallow: /*?* (?表示含动态的url)
例6. 禁止搜索引擎抓取网站上所有图片
User-agent: *
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
如果还有其他文件格式，照着加上即可，具体情况具体分析，掌握这些语法规则以及通配符的使用大多数情况是可以帮你解决问题的!
例7. 仅禁止某一个搜索引擎蜘蛛的访问例举
——禁止百度访问您的网站：
User-agent: Baiduspider
Disallow: /
——禁止谷歌访问您的网站：
User-agent: Googlebot
Disallow: /
注意事项：这里只是将User-agent: * 中的星号 * 换成了具体的搜索引擎蜘蛛名称，*代表任意!其规则是：
User-agent: 蜘蛛名称
Disallow: /不允许访问的部分
allow: /允许访问的部分
百度：Baiduspider ；Vista：Scooter ； Alexa：ia_archiver ；谷歌：Googlebot ； Fast：FAST-WebCrawler ； Msn：MSNBOT ； 360:360Spider ； 搜狗：Sogou News Spider ； SOSO：Sosospider ； 必应：bingbot ； 雅虎：“Yahoo! Slurp China”或者Yahoo! ； 有道：YoudaoBot，YodaoBot ； 即刻：JikeSpider 等!还要一些其他的一般用不到，如需要自己去查询了，这里就不再赘述了!
本文综述：对于Robots.txt要怎么写以及Robots.txt的写法问题就到此为止吧!更加详细的内容你还可以去看看百度官方的解释：http://help.baidu.com/question?prod_en=search&;class=499 不管你是否知道这个robots.txt 是什么意思，robots.txt怎么写都没关系，本文也许可以帮您解惑，还要就是实在自己懒得写可以百度一下robots在线生成，网上有很多生成工具!
黄飞鸿热炙理疗黄飞鸿热灸馆加盟项目,整店输出模式,专业热灸加盟技术培训,一个专业做中医养生的连锁品牌。源自黄飞鸿的嫡孙继承了黄飞鸿先生的遗志，多年来一直坚定不移地致力于大健康产业，并创立了黄飞鸿热灸馆；主要业务服务有黄飞鸿热炙理疗,黄飞鸿热炙理疗馆加盟,黄飞鸿理疗馆,黄飞鸿热灸,黄飞鸿养生馆加盟,黄飞鸿养生馆加盟,黄飞鸿热灸馆,黄飞鸿热灸体验馆,黄飞鸿热灸馆加盟,黄飞鸿热灸理疗馆,黄飞鸿热灸膏
tp钱包TokenPocket钱包支持数字资产存储。每天走势掌握，功能强大，在线管理数字货币，超多币种推送，多种交易方式，私钥用户自持且轻便易用的以太坊轻钱包。tp支持多资产类型，如：TokenPocket、ETH、QTUM、AE、BTM等大多数主流币种，让tp钱包更好地融入你的生活。
浙江丰安齿轮股份有限公司浙江丰安齿轮股份有限公司成立于1999年1月，是一家集开发、设计、制造、销售服务为一体的齿轮专业制造商，占地面积93亩，总资产3亿余元，主要设备400余台。公司于2017年1月在“新三板”挂牌，股票代码870508。公司以精湛的技术、过硬的品质、优良的服务来赢得客户满意，努力打造业界一流齿轮制造企业。
浙江中孚环境设备股份有限公司我公司系高新技术企业，专业从事空气净化的产品生产、工程服务及洁净技术的应用与研究，提供从空调处理设备、空调自动控制系统到洁净室系统全面服务，为各类工业用空气处理提供一揽子解决方案及交钥匙工程。 产品遍及全国几十个省市，并出口至巴基斯坦、伊朗等国家。我公司在化纤工艺空调领域精耕细作20余年，2001年进入医药、电子等行业的净化空调设备。 本公司拥有雄厚的技术力量和良好的售后服务，承接系统设计、技术咨询、产品制造、技术改造等项目。设备采用工业计算机、可编程序（PLC）控制器、数字直接控制器（DDC）等智能控制器，可实现节能显著的运行系统（节能策略有：新回风的焓值控制、二次回风、送风机的变频调速；非露点控制方案在过渡季节节能50%。在化纤纺丝行业采用的节能措施，同样可在医药行业的净化空调上使用）；采用与国际惯例接轨的CAD设计和质量保证体系。
江苏双友智能装备科技股份有限公司双友科技为客户提供直缝埋弧焊管生产线、直缝高频焊管生产线、螺旋埋弧焊管生产线、钢管内外防腐生产线，石油套管生产线，热处理生产线以及其他系列产品。同时公司致力于为高端铝业服务，为客户提供更为高效，节能，环保，安全的铸铝生产线及其相关设备。公司积极推进国际化发展战略，逐步实现品牌、市场、团队、技术、管理与国际化标准接轨。此外，公司与众多国际知名管材和铝材生产商建立了紧密的合作关系，在中东设立了海外分支机构。双友科技旨在将中国的高端制造带给世界。
南京三超新材料股份有限公司南京三超新材料股份有限公司成立于1999年1月，注册资本9360万元，2017年4月21日，在深圳创业板成功挂牌上市。占地面积130亩，建筑面积约86,000平方米。是一家专业从事金刚石、立方氮化硼工具的研发、生产与销售的高新技术企业，现拥有金刚石砂轮和金刚石线两大类相互协同的产品系列，应用于硅、蓝宝石、石英、铁氧体、钕铁硼、陶瓷、玻璃、硬质合金等硬脆材料的精密切割、磨削与抛光。 公司自成立以来，始终坚持＂以人为本、技术优先＂的发展理念，先后引入多名外籍专家，并在日本成立了超硬材料工具的专业研发机构。经过多年研发，公司成为国内最早通过自主研发掌握金刚线制造的相关技术，成功实现产业化的企业之一，并且打破了国外企业的技术垄断，与新研发成功的硅片背面减薄砂轮、硅片倒角砂轮、PAD修整器等产品，为半导体及太阳能光伏行业提供了优质的金刚石工具，并凭借良好的品质与高性价比，赢得了众多实力用户认可，在国内形成了较高的行业影响力。
