百度蜘蛛 User Agent

张子凡 设计开发 2017-06-05 11:59:07 阅读(6147) 评论(1)

前两天在泪雪博客发布了《百度MIP User Agent》,今天就来继续分享两组百度蜘蛛的抓取UA以及渲染UA(User Agent)。

百度 User Agent

PC UA:

1
2
//PC UA
Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

移动UA:

1
2
//移动UA
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC 渲染UA:

1
2
//PC 渲染UA
Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动渲染UA:

1
2
//移动渲染UA
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

百度Spider渲染抓取UA是为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从2017年3月24日开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,所以大家也尽量不要对UA进行封禁,以免造成不可逆转的损失。

除非注明,否则均为泪雪博客原创文章,转载请以链接形式标明本文地址

本文链接:https://zhangzifan.com/baidu-spider-user-agent.html

发表评论

  1. 太仓
    1楼
    太仓 3个月前 (07-11)

    学习了