通过robots.txt文件，您可以指示搜索引擎蜘蛛抓取哪些目录和文件并对其进行索引。
当兼容的搜索引擎机器人访问网站时，它首先检查服务器上的“ Robots.txt”文件。如果文件存在，则机械手读取内容以获取有关其可以爬网和建立索引的说明。请注意，搜索引擎机器人没有义务遵循Robots.txt文件中给出的说明。但是，大多数搜索引擎机器人都会尊重他们。
出于多种原因，您可能希望停止搜索引擎对网站的特定部分进行爬网和编制索引。
这些包括：
要创建robots.txt文件，请执行以下操作：
1.使用可以保存ASCII .txt文件的文本编辑器创建一个空白文本文件。您可以使用Windows随附的写字板或记事本。您应该可以在以下位置找到它们：开始菜单->程序->附件。
2.使用以下语法为每个搜索引擎机器人插入说明：
用户代理：机器人名称
禁止：文件或目录名称
用户代理 -用户代理是搜索引擎机器人的名称。如果要对所有代理人都使用相同的排除，则还可以包括多个代理人名称。您无需担心是否区分大小写，因此“ googlebot”与“ GOOGLEBOT”相同。星号“ *”表示所有机械手。
禁止 -禁止指示用户代理中指定的漫游器您不想爬网或建立索引的目录或文件。
以下是一些示例robots.txt文件说明：
从整个网站中排除所有机器人（不建议！）：
用户代理：*
禁止：/
允许所有机器人访问网站。因为什么都不允许，所以一切都被允许：
用户代理：*
禁止：
或者，创建一个空白的robots.txt文件。
允许所有机械手访问所有文件和目录，但列出的两个目录除外：
用户代理：*
禁止：/ cgi-bin /
禁止：/ images /
允许Google的漫游器访问除cgi-bin目录之外的所有文件和目录：
用户代理：Googlebot
不允许：/ cgi-bin /
允许Google的漫游器访问所有文件和目录，但列出的文件除外：
用户代理：Googlebot
不允许：/members/login.html
空行表示新的“记录”-新的用户代理命令。禁止Googlebot从网站上访问，其他所有漫游器都无法访问所有内容，但cgi-bin目录除外：
用户代理：Googlebot
不允许：/用户代理：*
不允许：/ cgi-bin /
允许Googlebot完全访问，但排除所有其他机器人：
用户代理：Googlebot
不允许：用户代理：*
禁止：/
禁止所有漫游器访问以某个值开头的文件或目录：
用户代理：*
禁止：/ image
禁止：/ image /
第一个禁止命令禁止/ image /目录，/image.html和/images.html文件。
第二个disallow命令仅禁止/ image /目录，但允许其他文件，例如/image.html和images.html。
您可以添加任意行以排除所需的目录和页面。每个禁止语句将应用于指定的最后一个用户代理。
指示所有漫游器不要抓取动态生成的页面：
用户代理：*
不允许：/ *？
指示所有漫游器不要抓取以.gif结尾的文件：
用户代理：*
不允许：/ * 。gif
3.将文件另存为“ robots.txt”（必须全部小写），然后将其上传到服务器的根目录或顶层目录。
例如：
http://www.25qi.com/robots.txt <-根目录
请注意，每个站点只能有一个“ robots.txt”文件。
黄飞鸿热炙理疗黄飞鸿热灸馆加盟项目,整店输出模式,专业热灸加盟技术培训,一个专业做中医养生的连锁品牌。源自黄飞鸿的嫡孙继承了黄飞鸿先生的遗志，多年来一直坚定不移地致力于大健康产业，并创立了黄飞鸿热灸馆；主要业务服务有黄飞鸿热炙理疗,黄飞鸿热炙理疗馆加盟,黄飞鸿理疗馆,黄飞鸿热灸,黄飞鸿养生馆加盟,黄飞鸿养生馆加盟,黄飞鸿热灸馆,黄飞鸿热灸体验馆,黄飞鸿热灸馆加盟,黄飞鸿热灸理疗馆,黄飞鸿热灸膏
tp钱包TokenPocket钱包支持数字资产存储。每天走势掌握，功能强大，在线管理数字货币，超多币种推送，多种交易方式，私钥用户自持且轻便易用的以太坊轻钱包。tp支持多资产类型，如：TokenPocket、ETH、QTUM、AE、BTM等大多数主流币种，让tp钱包更好地融入你的生活。
浙江丰安齿轮股份有限公司浙江丰安齿轮股份有限公司成立于1999年1月，是一家集开发、设计、制造、销售服务为一体的齿轮专业制造商，占地面积93亩，总资产3亿余元，主要设备400余台。公司于2017年1月在“新三板”挂牌，股票代码870508。公司以精湛的技术、过硬的品质、优良的服务来赢得客户满意，努力打造业界一流齿轮制造企业。
浙江中孚环境设备股份有限公司我公司系高新技术企业，专业从事空气净化的产品生产、工程服务及洁净技术的应用与研究，提供从空调处理设备、空调自动控制系统到洁净室系统全面服务，为各类工业用空气处理提供一揽子解决方案及交钥匙工程。 产品遍及全国几十个省市，并出口至巴基斯坦、伊朗等国家。我公司在化纤工艺空调领域精耕细作20余年，2001年进入医药、电子等行业的净化空调设备。 本公司拥有雄厚的技术力量和良好的售后服务，承接系统设计、技术咨询、产品制造、技术改造等项目。设备采用工业计算机、可编程序（PLC）控制器、数字直接控制器（DDC）等智能控制器，可实现节能显著的运行系统（节能策略有：新回风的焓值控制、二次回风、送风机的变频调速；非露点控制方案在过渡季节节能50%。在化纤纺丝行业采用的节能措施，同样可在医药行业的净化空调上使用）；采用与国际惯例接轨的CAD设计和质量保证体系。
江苏双友智能装备科技股份有限公司双友科技为客户提供直缝埋弧焊管生产线、直缝高频焊管生产线、螺旋埋弧焊管生产线、钢管内外防腐生产线，石油套管生产线，热处理生产线以及其他系列产品。同时公司致力于为高端铝业服务，为客户提供更为高效，节能，环保，安全的铸铝生产线及其相关设备。公司积极推进国际化发展战略，逐步实现品牌、市场、团队、技术、管理与国际化标准接轨。此外，公司与众多国际知名管材和铝材生产商建立了紧密的合作关系，在中东设立了海外分支机构。双友科技旨在将中国的高端制造带给世界。
南京三超新材料股份有限公司南京三超新材料股份有限公司成立于1999年1月，注册资本9360万元，2017年4月21日，在深圳创业板成功挂牌上市。占地面积130亩，建筑面积约86,000平方米。是一家专业从事金刚石、立方氮化硼工具的研发、生产与销售的高新技术企业，现拥有金刚石砂轮和金刚石线两大类相互协同的产品系列，应用于硅、蓝宝石、石英、铁氧体、钕铁硼、陶瓷、玻璃、硬质合金等硬脆材料的精密切割、磨削与抛光。 公司自成立以来，始终坚持＂以人为本、技术优先＂的发展理念，先后引入多名外籍专家，并在日本成立了超硬材料工具的专业研发机构。经过多年研发，公司成为国内最早通过自主研发掌握金刚线制造的相关技术，成功实现产业化的企业之一，并且打破了国外企业的技术垄断，与新研发成功的硅片背面减薄砂轮、硅片倒角砂轮、PAD修整器等产品，为半导体及太阳能光伏行业提供了优质的金刚石工具，并凭借良好的品质与高性价比，赢得了众多实力用户认可，在国内形成了较高的行业影响力。
