网址导航网首页

嗨,欢迎来到25Qi网址导航

站长QQ:2598903095

SEO学习

百度蜘蛛抓取不存在目录(对应的解决方法)!

时间:2021-07-21 丨 作者:网址导航 丨 关键词:百度蜘蛛
SEO丨相信大家在分析百度蜘蛛日志的时候经常会发现一个问题,就是百度蜘蛛经常会抓取一些不存在的目录,比如:我网站没有这些目录,但是百度蜘蛛一直在抓取,或者你会发现百度蜘蛛在抓取自己的隐私目录,或者说php文件,这个是为什么哪?今天就为大家进行详细解析,讲解对应的解决办法,本篇文章干货较多,建议仔细阅读。
百度蜘蛛日志  

1,如果蜘蛛只抓取首页,打死不抓取内页,是什么情况!  很简单,域名有问题,一般来讲,如果遇到这种情况,域名目前可能在审核期,也就是说,做过违规行业,或者你的程序有作弊的嫌疑,但是域名的占比较大,如果程序有问题,开始百度蜘蛛也会抓取一些的。
蜘蛛只抓取首页  
2,如果百度蜘蛛抓取一些隐私文件,例如php、zip、rar什么情况!  对于这种情况,你要去判断当前这个IP是不是假蜘蛛文件,因为现在很多IP会自动更改自己的UA,跟百度蜘蛛一样,你无法从蜘蛛日志中分辨,你可以去识别下IP,通过ip138看看是不是蜘蛛IP,如果不是,果断屏蔽掉,如果太多,按照IP段进行屏蔽。
百度蜘蛛抓取一些隐私文件抓取一些隐私文件  
3,如果百度蜘蛛抓取一些隐私目录,真蜘蛛的情况下,怎么处理。  如果你确认是真的百度蜘蛛,百度可能是在抓取你的页面内部程序,考察你用的程序的版本,等,这些百度都会有分辨策略的,一般来讲,自己编写的程序,百度都会优先给予高评分,是这样的。我们为了防止蜘蛛抓取我们的隐私目录,我们一般都会用robots.txt进行屏蔽,记住:生效时间24小时左右。
蜘蛛抓取一些隐私目录  
4,如果蜘蛛抓取一些不存在的目录,一些不存在的文件,怎么办?  首先依然是判断是否是真蜘蛛,如果是真蜘蛛,百度抓取一些不存在的目录,是因为,你这个域名之前做过一些站点,现在又开始做,百度会根据之前的评分、URL进行抓取,看看是不是之前的站点又恢复了,一般来讲,这种抓取会在30天内自动消失的,如果30天后一直存在,你就要屏蔽这类链接了,总之:这种抓取对于你的站点,没有太大的伤害,只是排查而已。  另外还有一种情况,如果你把其他的站点301到你当前的域名上,蜘蛛就会按照其他站点的URL来抓取你的网站,这个时候你也会发现百度在抓取一些不存在的目录,不过不用怕,这种对于你的站点没有伤害的。
蜘蛛抓取一些不存在的目录  
5,蜘蛛抓取,301、304,、200、403、404、444状态码怎么办?  首先我们要明白,301状态码,就是重定向,如果你的顶级域名,例如25qi.com-》www.25qi.com当百度抓取25qi.com上面的资源时,就会出现301重定向的代码,如果抓取www.25qi.com上面的资源,就会是200状态码,意思是抓取成功。  而抓取304状态码是为什么那?如果你在日志上看到了304状态码,则表示,你的资源一直都没有变化,属于静态页面资源,304状态码,对于网站的影响比较小,一般来讲是做了百度cdn,有缓存,就容易出现304状态码,但只要你每天给百度提交资源,时时保持更新,就没事。  403是权限问题,禁止访问,是你服务器进行了设置,而444则是未找到服务器,404则是空页面,这个页面丢失,这三个状态码,则表示网站出现问题,记住:不要让网站出现大量404,你可以让状态码变成403只是限制访问,如果都是404,则表明网站大量页面不可用,百度评分就会降低,好了,今天就讲解到这么多,后面会陆续分享这方面的知识点。

 

Tags:百度蜘蛛   百度蜘蛛抓取目录

在线随机小姐姐图片换一批
最新收录
  • 黄飞鸿热炙理疗

    黄飞鸿热灸馆加盟项目,整店输出模式,专业热灸加盟技术培训,一个专业做中医养生的连锁品牌。源自黄飞鸿的嫡孙继承了黄飞鸿先生的遗志,多年来一直坚定不移地致力于大健康产业,并创立了黄飞鸿热灸馆;主要业务服务有黄飞鸿热炙理疗,黄飞鸿热炙理疗馆加盟,黄飞鸿理疗馆,黄飞鸿热灸,黄飞鸿养生馆加盟,黄飞鸿养生馆加盟,黄飞鸿热灸馆,黄飞鸿热灸体验馆,黄飞鸿热灸馆加盟,黄飞鸿热灸理疗馆,黄飞鸿热灸膏

  • tp钱包

    TokenPocket钱包支持数字资产存储。每天走势掌握,功能强大,在线管理数字货币,超多币种推送,多种交易方式,私钥用户自持且轻便易用的以太坊轻钱包。tp支持多资产类型,如:TokenPocket、ETH、QTUM、AE、BTM等大多数主流币种,让tp钱包更好地融入你的生活。

  • 浙江丰安齿轮股份有限公司

    浙江丰安齿轮股份有限公司成立于1999年1月,是一家集开发、设计、制造、销售服务为一体的齿轮专业制造商,占地面积93亩,总资产3亿余元,主要设备400余台。公司于2017年1月在“新三板”挂牌,股票代码870508。公司以精湛的技术、过硬的品质、优良的服务来赢得客户满意,努力打造业界一流齿轮制造企业。

  • 浙江中孚环境设备股份有限公司

    我公司系高新技术企业,专业从事空气净化的产品生产、工程服务及洁净技术的应用与研究,提供从空调处理设备、空调自动控制系统到洁净室系统全面服务,为各类工业用空气处理提供一揽子解决方案及交钥匙工程。   产品遍及全国几十个省市,并出口至巴基斯坦、伊朗等国家。我公司在化纤工艺空调领域精耕细作20余年,2001年进入医药、电子等行业的净化空调设备。   本公司拥有雄厚的技术力量和良好的售后服务,承接系统设计、技术咨询、产品制造、技术改造等项目。设备采用工业计算机、可编程序(PLC)控制器、数字直接控制器(DDC)等智能控制器,可实现节能显著的运行系统(节能策略有:新回风的焓值控制、二次回风、送风机的变频调速;非露点控制方案在过渡季节节能50%。在化纤纺丝行业采用的节能措施,同样可在医药行业的净化空调上使用);采用与国际惯例接轨的CAD设计和质量保证体系。

  • 江苏双友智能装备科技股份有限公司

    双友科技为客户提供直缝埋弧焊管生产线、直缝高频焊管生产线、螺旋埋弧焊管生产线、钢管内外防腐生产线,石油套管生产线,热处理生产线以及其他系列产品。同时公司致力于为高端铝业服务,为客户提供更为高效,节能,环保,安全的铸铝生产线及其相关设备。公司积极推进国际化发展战略,逐步实现品牌、市场、团队、技术、管理与国际化标准接轨。此外,公司与众多国际知名管材和铝材生产商建立了紧密的合作关系,在中东设立了海外分支机构。双友科技旨在将中国的高端制造带给世界。

  • 南京三超新材料股份有限公司

    南京三超新材料股份有限公司成立于1999年1月,注册资本9360万元,2017年4月21日,在深圳创业板成功挂牌上市。占地面积130亩,建筑面积约86,000平方米。是一家专业从事金刚石、立方氮化硼工具的研发、生产与销售的高新技术企业,现拥有金刚石砂轮和金刚石线两大类相互协同的产品系列,应用于硅、蓝宝石、石英、铁氧体、钕铁硼、陶瓷、玻璃、硬质合金等硬脆材料的精密切割、磨削与抛光。 公司自成立以来,始终坚持"以人为本、技术优先"的发展理念,先后引入多名外籍专家,并在日本成立了超硬材料工具的专业研发机构。经过多年研发,公司成为国内最早通过自主研发掌握金刚线制造的相关技术,成功实现产业化的企业之一,并且打破了国外企业的技术垄断,与新研发成功的硅片背面减薄砂轮、硅片倒角砂轮、PAD修整器等产品,为半导体及太阳能光伏行业提供了优质的金刚石工具,并凭借良好的品质与高性价比,赢得了众多实力用户认可,在国内形成了较高的行业影响力。