首页 >  SEO >  SEO知识 >  正文

搜索引擎蜘蛛爬虫名大全

1901

对于seo们清楚掌握主流搜索引擎的爬虫名称十分的关键,因为当分析网站日志的时候来分析爬取情况,以及如果为了保护站点内容的时候的需要屏蔽搜索引擎爬取,这两者都要基于清楚的了解搜索引擎对应的名称才能实现。掌握各大搜索引擎蜘蛛爬虫,对我们开展网站SEO优化具有挺大作用;作者搜集了各大搜索引擎的蜘蛛爬虫UA,便于你需要时查看。


百度蜘蛛:BaiduSpider

百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见。

百度蜘蛛爬虫UA:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”


谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的。谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”,图片:“Googlebot-Image/1.0”。


360蜘蛛:360Spider

它是一个十分“勤奋抓爬”的蜘蛛。360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);



搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider。搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”


必应蜘蛛:bingbot

必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”


关注公众号“SEO_Study”回复“爬虫名大全”获取


另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。

但是对于蜘蛛的屏蔽建议用黑名单也就是屏蔽不希望被你抓取的搜索引擎,不推荐使用白名单的方法来设置robots因为我们不排除,搜索引擎的蜘蛛不会改名字,如果不能及时的发现,那么对于网站的影响还是超级大。


申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seozhishi/337
相关文章
  • 代码适配对百度友好代码详解

    代码适配

    移动端适配的方式有多种形式,比如通过规则适配、响应式、独立移动PC站等方式都可以实现PC移动端适配的效果,今天详细讲一下本人比较喜欢的适配方式即代码适配,这种适配方式可以说是尽可能的结合了上面集中适配方式的优点,对于SEO优化来说还是比较友好的。

    2441
    • 代码适配
  • SEO入门到精通需要掌握的知识

    SEO入门教程

    简单理解:SEO实际上是指搜索引擎优化,主要的目的是基于SERP(搜索结果),通过更加符合搜索引擎抓取、索引、排名的方法,有针对性的调整自有网站的相关数据指标,从而提高目标网站相关关键词的排名。 那么对于SEO优化入门者需要掌握哪些知识点,走向精通。

    2003
    • SEO入门教程
  • 建站系统搭建网站利于SEO优化吗?

    建站系统选择

    对于一般的企业建站为了便利性会选择使用建站系统来进行网站的搭建,但是使用建站系统却存在着很多问题,对于业务上或者SEO优化上都有着很大影响。然而对于中小企业使用建站系统模板来搭建系统主要还是成本、维护上上考虑,也是一种迫不得已的选择,那么使用建站系统建站我们需要避免那些问题呢?

    850
    • 建站系统选择
  • 外链打击,绿萝算法

    外链,绿萝算法

    请勿在滥发外链了,多年之前已经有了绿萝算法的存在,远离外链中,远离垃圾外链,提升网站内容,健康的发展外链才是长期可以持续的SEO优化手段。

    1556
    • 外链
    • 绿萝算法
  • 网站site和索引量差距过大

    site与索引量

    对于seo的日常会比较关注site出来的结果数量和站长后台的索引量,但是很多情况下我们会遇到site数量和索引量的差距比较大,出现这种情况大家的小心脏不免心慌慌,那么为什么站长平台的索引量和site展现不一致呢?

    2211
    • site与索引量
  • SEO优化移动端时应该注意什么?

    移动端优化

    移动设备上网已经逐渐的成为了现在大家主要的上网途径。因此对于SEO人员来说就需要开始对移动端的优化重视起来,学会抢占先机可以更好的提升胜率。毕竟移动端在将来会成为更加重要的存在。那么我们在移动端优化的时候需要注意什么呢?

    1252
    • 移动端优化
  • ​决定SEO优化成败的根本原因

    SEO失败的原因

    其实9成以上的网站SEO优化都是已失败而告终的,为什么会有如此之高的失败率呢?到底是什么原因导致了SEO优化如此的艰难呢?更多的原因并不是在于SEO优化人员的技术业务能力不足导致的,真正原因是?

    1170
    • SEO失败的原因
  • 学会这招,你再也不用头疼的挖掘关键词

    关键词

    在SEO优化的过程中,关键词挖掘是一项至关重要的任务。通过精准地定位目标关键词,网站能够更有效地吸引目标流量,提升搜索引擎排名,进而实现流量的增长。关键词挖掘是seo优化中非常重要的一项工作。可以说每个seo都有自己的挖掘关键词的方法,今天潘某人SEO分享的关键词的挖掘方法可以说适合任何的站点,并且可行性及高。

    114
    • 关键词
  • SEO优化内容的发展趋势

    SEO优化

    2022-07-14百度搜索资源平台发布了打击盗版网文站点公告,从中其实可以对seo未来的发展趋势有了大概的预测。

    506
    • SEO优化
  • 如何定制百度索引量查看规则

    百度索引规则

    可以通过“*”号自定义规则来查看某些特征集合的页面索引量数据。“*”号放在规则结尾可匹配到包含“/”在内的任意字符串,放在规则其他位置匹配不包含“/”的任意字符串,具体可参考下列示例:

    1826
    • 百度索引规则
  • SEO列表页如何做,你的方法正确吗?

    列表页,SEO优化,栏目页

    列表页的优化可以说是充满了奥秘,不管是内容层面还是SEO优化层面。如果思路出现了问题,那么自然不可避免影响整体的效果,今天潘某人SEO通过几个重要的纬度和大家探讨下如何正确的优化网站列表页。

    601
    • 列表页
    • SEO优化
    • 栏目页
  • SEO优化中权重和栏目的关系

    SEO优化,权重优化

    你知道网站首页、栏目页、详情页之间是什么关系,对于权重又有什么影响呢?

    1303
    • SEO优化
    • 权重优化
  • 什么是面包屑导航

    面包屑导航

    什么是面包屑导航,使用面包屑导航的优点,面包屑导航的作用是告诉访问者他们目前在网站中的位置以及如何返回。

    779
    • 面包屑导航
  • 百度移动适配工具如何使用

    移动适配工具

    百度移动适配工具如何使用?百度移动搜索提供“移动适配”服务,如果您同时拥有PC站和手机站,且二者能够在内容上对应,即主体内容完全相同,您可以通过移动适配工具进行对应关系提交。

    2124
    • 移动适配工具
  • 如何做网站SEO诊断?

    SEO诊断,网站优化

    从网站的展现、点击率、关键词相关度,可以更加快速简单有效的诊断出网站的SEO优化效果。网站诊断可以从很多方面出发,可以从页面的规范程度,站点的内容,网站的代码等等各个方面都是决定网站最终优化效果的因素。今天不讲那么多细节性的,就从网站展现排名来诊断网站的优化效果。

    834
    • SEO诊断
    • 网站优化
  • robots协议不生效怎么处理

    robots

    为什么明明已经设正确设置的robots的屏蔽规则,但是就是不生效导致不该收录的内容被收录了呢?

    608
    • robots
  • 收下这份防爬虫的策略

    爬虫

    对于防爬并没有一劳永逸的方法,只要内容是可以被访问的,那么就有可能被爬取;是否能勾防住,最终就是一场攻防的战斗,看哪一方技术更胜一筹。今天潘某人SEO突然灵光乍现,突然想到一个防爬虫的方案,在这里分享给大家,当然也不是专业做这个的,有不妥之处欢迎大家指正,铺垫比较长一定看到最后,希望可以帮助到你。

    484
    • 爬虫
  • 百度石榴算法打击什么行为

    石榴算法

    石榴算法是针对低质量网站的进一步打击的升级版,与之前百度绿萝算法相对应,这正是百度搜索引擎为了提高用户体验,提高入网安全性,提高搜索质量的有力手段。

    1447
    • 石榴算法
-- 这已经是底线了,看看别的把! --