关于神马搜索蜘蛛 YisouSpider 在互联网前几年可谓是怨声载道,许多的网站被过于频繁的抓取而导致服务器瘫痪等情况不在少数,其实看 YisouSpider 这个蜘蛛的名称就应该知道,神马搜索的前身就是“宜搜”,如果子凡没记错的话这曾经是一个小说搜索引擎,后来被阿里拿下就正式定位于手机搜索引擎。

YisouSpider

今天子凡之所以又来说到神马搜索蜘蛛,并不是因为神马带来了非常客观的流量,只是因为神马最近开始支持 MIP 规范,而由于子凡的一些网站接入 MIP 是用 User Agent 判断来做的代码适配,也就是说之前只是针对百度移动搜索蜘蛛和 mip 的 User Agent,而现在需要将网站的 MIP 端对神马搜索的开发,故而才有了今天的这篇文章。

先来看子凡从网站日志中扒下来关于 YisouSpider 的几个记录:

1
2
3
4
5
6
42.156.136.21 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.137.44 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.138.31 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.14 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.33 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
106.11.156.57 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"

在神马站长平台官网虽然看到了关于 YisouSpider 的一些介绍,却也描述得模棱两可,基本没有任何参考而言,网络上搜索了一些也全是 YisouSpider 几年前的东西了,所以无奈还是只能自己动手来看看了。

通过上面子凡扒下来的,通过通过 IP 段加上完整的 User Agent,通过 IP 观察可以发现这是同一个 IP 段,应该也就是服务器集群的一组 IP 池,基本可以判断为是神马搜索蜘蛛无疑,通过 User Agent 的内容则可以判断,一种为移动端的 User Agent,一种则为 PC 端的 User Agent。

关于 User Agent 的使用和判断方面的代码由于子凡曾在“微信内置浏览器和小程序的 User Agent 区别及判断方法”就写到过,这里就不赘述和重复了,感兴趣的可以移步去看看。

除非注明,否则均为泪雪博客原创文章,禁止任何形式转载

本文链接:https://zhangzifan.com/yisouspider.html

留言评论

登录 后留言