下面是站终年夜本营最近网络的各大搜索引擎蜘蛛IP数据,数据没办法担保完备准确,由于搜索引擎官方是不公开IP段的,且IP都会变,我比拟过多个数据和自己核验,下面的数据还是挺可靠的,有遗漏的下面还会有办理方案。
百度蜘蛛IP段:
61.135.0.0/16123.125.0.0/16111.206.0.0/16180.76.0.0/20180.149.128.0/19220.181.0.0/1636.110.128.0/17124.164.0.0/14116.179.0.0/16180.97.0.0/18

Google中国蜘蛛IP段:
203.208.32.0/19203.208.60.0/2474.125.0.0/1672.14.192.0/1864.233.160.0/1966.249.64.0/1966.102.0.0/2064.68.64.0/1966.249.90.0/2466.249.91.0/2466.249.92.0/24
搜狗蜘蛛IP段:
118.184.176.0/22123.180.0.0/14123.125.0.0/1661.135.0.0/16123.126.64.0/18111.202.0.0/1636.110.128.0/19220.181.0.0/16106.120.128.0/1749.7.0.0/18218.30.96.0/19106.38.0.0/16111.13.0.0/1658.250.0.0/16183.36.96.0/1949.7.64.0/18必应蜘蛛IP段:
103.25.156.0/24111.221.16.0/20157.56.0.0/16199.30.16.0/2065.52.0.0/1413.64.0.0/11157.55.0.0/16207.46.0.0/1640.64.0.0/1052.224.0.0/1140.76.0.0/1440.80.0.0/1252.160.0.0/11
360搜索蜘蛛IP段:(这是官方供应的,非常准确)
180.153.0.0/16180.163.128.0/1742.224.0.0/12
头条搜索蜘蛛IP段:
110.249.201.0/24110.249.202.0/24111.225.148.0/24111.225.149.0/24220.243.135.0/24220.243.136.0/24111.224.0.0/1460.8.0.0/15110.240.0.0/12220.243.128.0/18
神马搜索蜘蛛IP段:
42.156.128.0/1742.120.128.0/17106.11.144.0/20
以上IP段可能未来还会新增,而且新增的IP段我们也无法获取到,这时候我们就须要其余一种方案来核实了,那便是DNS反查,我们可以通过反查来访的蜘蛛IP,查到对应的域名地址即可核实。
通过DNS反查IP用的是一种代码指令,不同的操作平台利用的指令也是不同的,比如:linux、windows、Mac OS这三个操作平台,利用的指令为host、nslookup、dig,查询的格式为:host ip(ip=ip地址)、nslookupip(ip=ip地址)、digip(ip=ip地址)。例如:host 111.222.XXX.XXX 或 nslookup 111.222.XXX.XXX 或 dig host 111.222.XXX.XXX,如果是用PHP可以利用 gethostbyaddr("IP")来获取,不同的蜘蛛IP对应的域名是不一样的,我们只要核实是哪家的蜘蛛就OK了。
下面我把各大搜索引擎蜘蛛的域名分享下:
百度蜘蛛IP对应的域名(例子):baiduspider-116-179-32-216.crawl.baidu.com
谷歌蜘蛛IP对应的域名(例子):crawl-203-208-60-60.googlebot.com
必应蜘蛛IP对应的域名(例子):msnbot-40-77-167-2.search.msn.com
搜狗蜘蛛IP对应的域名(例子):sogouspider-123-126-113-79.crawl.sogou.com
头条蜘蛛IP对应的域名(例子):bytespider-111-225-149-71.crawl.bytedance.com
神马蜘蛛IP对应的域名(例子):shenmaspider-42-156-137-55.crawl.sm.cn
360搜索官方说是禁止反查的,以是我们只用官方给出的IP段判断就OK了。
通过以上IP反查可以得到域名,判断域名是否是这些域名结尾就可以核实,这样我们在防御上就不会将搜索引擎蜘蛛误杀了。
往后还会连续分享有代价的站长干系资源,感谢您的浏览!