搜索引擎爬虫蜘蛛的USERAGENT大全

发布时间：2020-03-13 08:30:56 所属栏目：搜索优化来源：站长网

导读：搜索引擎爬虫蜘蛛的USERAGENT收集，方便制作采集的朋友。

百度爬虫
* Baiduspider+(+”)

google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +)
* Googlebot/2.1 (+)
* Googlebot/2.1 (+)

雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; ”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; ”)

新浪爱问爬虫
*iaskspider/2.0(+”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫
*Sogou web spider/3.0(+#07″)
*Sogou Push Spider/3.0(+#07″)

网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; ”; )

MSN爬虫
*msnbot/1.0 (+”)

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!