首页 >  SEO >  SEO标签 >  正文

如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

 作者:潘某人SEO
3201

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seobiaoqian/285
相关文章
  • 【重要】搜索资源平台清退风险资源

    搜索资源平台,seo

    如果站点从事百度SEO优化,那么这条消息必看,避免对日常的优化工作产生影响,未及时处理将直接影响百度搜索资源平台的账户。

    797
    • 搜索资源平台
    • seo
  • 如何做好原创内容版权保护

    版权保护,原创内容保护,百度时间因子

    分享如何对站点原创内容的保护,如何查找抄袭站点,如何保留抄袭证据等方法,来保护自己的合法权益。

    1188
    • 版权保护
    • 原创内容保护
    • 百度时间因子
  • 智能小程序对seo效果那么好,为什么做的人还是很少

    智能小程序,seo优化

    站点开通智能小程序可以有机会获得站点logo权限、快速收录等权限,对于seo优化有着非常好的帮助。即使如此智能小程序的普及并不高,大家知道这是为什么吗?

    704
    • 智能小程序
    • seo优化
  • 长尾关键词库的重要性

    长尾关键词库

    长尾关键词库是什么,长尾关键词对于seo优化有什么样的作用。长尾关键词的流量那么小,有什么意义去花那么的时间去搞长尾关键词的优化工作。

    959
    • 长尾关键词库
  • 百度石榴算法打击什么行为

    石榴算法

    石榴算法是针对低质量网站的进一步打击的升级版,与之前百度绿萝算法相对应,这正是百度搜索引擎为了提高用户体验,提高入网安全性,提高搜索质量的有力手段。

    1649
    • 石榴算法
  • SEO核心内容为王,外链为皇

    内容为王,外链为皇,外链的重要性

    内容和外链到底谁更重要,真的是传说在的外链为皇,内容为王吗?真相往往是残酷的。偏离的外链的本质,人云亦云,执着于错误中乐此不疲,也是一个神奇的现象,网站优化更需要的是了解每一个动作的本质。

    1658
    • 内容为王
    • 外链为皇
    • 外链的重要性
  • 学会这招,你再也不用头疼的挖掘关键词

    关键词

    在SEO优化的过程中,关键词挖掘是一项至关重要的任务。通过精准地定位目标关键词,网站能够更有效地吸引目标流量,提升搜索引擎排名,进而实现流量的增长。关键词挖掘是seo优化中非常重要的一项工作。可以说每个seo都有自己的挖掘关键词的方法,今天潘某人SEO分享的关键词的挖掘方法可以说适合任何的站点,并且可行性及高。

    2307
    • 关键词
  • a标签怎么写对seo更友好

    a标签如何优化

    拿比较重要的<a>标签来探讨下,相信大家对于<a>标签是十分的熟悉的,链接是互联网之所以能成为一张网的基本条件,并且对于SEO优化起着十分重要的影响,<a>标签优化的到不到位对于SEO效果的影响,

    4085
    • a标签如何优化
  • 网站如何让百度快速收录

    百度快速收录,秒收录

    如何优化才能让搜索引擎快速收录网站内容,分享一个可以做到秒收录的方案,如何让页面快速收录是站长们一直在做的事情,今天来讲一下如何实现内容秒收录。

    924
    • 百度快速收录
    • 秒收录
  • 快去看看API主动推送被降额了吗

    API主动推送,降额

    最近在论坛里看到很多站点的百度API主动推送额度被下调到了100条。这向站长们发送了什么样的信息呢?又意味着什么?

    2216
    • API主动推送
    • 降额
  • 网站快速排名怎么做?

    网站快速排名

    网站快速排名怎么做?怎样才能网站有好的排名?网站快速排名有以下几种方法可以完成。网站优化排名不是一天两天的事情,是 一个月两个月往上走的事情!SO,如果你三天打渔两天晒网,就不要浪费钱了。

    913
    • 网站快速排名
  • 低成本让网站资源加载速度提升的方法

    加载速度,网站速度

    分享一个低成本的方法,让网站速度提升的方法,通过提升网站速度提升用户体验,从而获得更好的seo优化效果。通过资源的预获取,可以实现在服务器配置不变的情况下提升网站资源加载速度的提升。

    693
    • 加载速度
    • 网站速度
  • site出图率的重要性

    site出图率,site命令

    你了解site命令,但是什么是site出图率,site出图的重要性你知道吗?对于网站的点击率的提升有着重要的作用!有什么方式可以增加网站site出图的几率呢?

    1445
    • site出图率
    • site命令
  • 搜索引擎的工作原理

    搜索引擎工作原理,收录原理

    讲述搜索引擎的工作原理,以及SEO优化中如何提高收录效率的方法。提高网站内容的质量原创度,稀缺性,和搜索引擎建立良好的信任关系。

    1443
    • 搜索引擎工作原理
    • 收录原理
  • 百度不收录原因分析

    百度不收录原因

    百度不收录原因分析,目前百度Spider抓取新链接的途径有两个,一是主动出击发现抓取,二就是从百度站长平台的链接提交工具中获取数据,其中通过主动推送功能“收”上来的数据最受百度Spider的欢迎。

    1594
    • 百度不收录原因
  • IP地址段表达方式

    IP地址,IP区间段,ip表达式

    ip/8/16/24,IP大家在熟悉不过了,但是大家真的了解IP吗?如何表示一段区间的IP端呢?在网站优化的时候IP的屏蔽是经常需要做的一件事,如果需要屏蔽的IP都在一个段区间内,你还在一个个屏蔽吗,有没有一种快速屏蔽一段IP的方法吗。

    2854
    • IP地址
    • IP区间段
    • ip表达式
  • 如何快速提升关键词排名?

    提升关键词排名

    如何快速提升关键词排名?可以从流量冲击、时效性热点内容 、高质量外链、网站整体权重、交换一些友情链接,多角度同时进行有效快速提升关键词排名。

    1290
    • 提升关键词排名
  • SEO从业者必须掌握的TDK优化技巧

    SEO关键词,TDK编写,网站描述优化

    SEO从业者需要知道网站TDK是什么,需要知道SEO改如何编写关键词标题描述,现在对于搜索引擎来说关键词和描述并不是很重要了,这么调整原因就是太多了的人乱写关键词,文章与关键词相关性低;不过如果你的关

    2087
    • SEO关键词
    • TDK编写
    • 网站描述优化
-- 这已经是底线了,看看别的把! --