如何分辨真假百度搜索引擎蜘蛛IP

SEO入门7阅读模式

分析网站日志是SEO人员基本能力,通过网站日志可以反映很多网站表面看不到的情况,比如:有没有404页面,百度,谷歌等搜索引擎有没有来抓取,访问了多少次,什么时候来访问的,网站有没有被恶意攻击。当我们看到有很多百度蜘蛛的IP来访问的时候也不要高兴太早,因为我们要小心这里会存在假的搜索引擎蜘蛛IP,那么如果分辨这些真假蜘蛛IP段,方法也较简单。

如何分辨真假百度搜索引擎蜘蛛IP

一、看样子凭经验

当我们看的多了有经验了也就能一眼看出哪些是真的百度蜘蛛IP

真蜘蛛官方文档这样记录:

新版移动ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
所以根据百度的说法,不是长这个样子的就都是假的了,统统拉出去,比如就有一个这样的百度假蜘蛛

假蜘蛛:

Baiduspider+(+http://www.baidu.com/search/spider.htm)

二、通过DOS命令查看

我们通过dos命令来查看,我们来找两个IP段220.181.108.140和117.28.255.37,

开始—运行—输入 cmd ,用命令nslookup +ip 看截图:

如果是真的IP段:

如何分辨真假百度搜索引擎蜘蛛IP

假的:

如何分辨真假百度搜索引擎蜘蛛IP

注意:只要是百度的IP段,代码中会有出现:name:baiduspider,如果没有出现,那就不说不是真的百度IP

谷歌是一样的:会出现googlebot 其他一样

【百度官方文档】

百度spider介绍

如何识别Baiduspider

新版Baiduspider移动ua升级公告

【网站抓取】如何正确识别Baiduspider移动ua

 

 感谢简爱老师提供帮助

文章末尾固定信息

我的微信
这是我的微信扫一扫
weinxin
我的微信
我的微信公众号
我的微信公众号扫一扫
weinxin
我的公众号
 
评论  7  访客  7
    • 跨境电商平台 1

      非常不错!!!!

      • 卢松松商城 1

        学到了 以前对这些是一点不了解的 现在算是懂了些皮毛

        • 购物街 0

          谢谢分享

          • 威客圈子 0

            敲代码的都很耐心,哈哈哈

            • 泡芙加盟 5

              文章写的很清楚

              • 卢松松商城 1

                早安~不要站在现在的高度,去判定未来的事情,因为未来的你是会成长的,会有新的选择和判断。

                • 免费电影 0

                  谢谢分享

                发表评论

                匿名网友

                :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

                确定