首页 >  SEO >  SEO标签 >  正文

如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

 作者:潘某人SEO
3202

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seobiaoqian/285
相关文章
  • 如何正确看待SEO与SEM之间的关系

    SEO,SEM

    ​不管你是SEO还是SEM都进来看看,正确认知下对方对于自身的意义。SEO和SEM合起来就可以基本覆盖搜索引擎的所有的流量入口,两者并不是对立而是相辅相承的关系。

    671
    • SEO
    • SEM
  • 友情链接交换规则

    友情链接

    友情链接本质上就是外链,但是与外链不同它是双向的,两站点互相导出;那么在友情链接交换中我们需要注意什么呢?

    1288
    • 友情链接
  • 老域名对SEO优化效果有影响吗

    域名,seo优化

    相信大家经常听到建站要用老域名,对于收录排名会有很不错的优势,那么真的是这样吗?但这个结论是有一定的道理,但是还是比较片面,并不不能说老域名比新域名更利于SEO优化。

    897
    • 域名
    • seo优化
  • 【必看】设置死链的秘诀!

    如何设置死链,404,seo

    死链相信大家都不陌生,但是你知道不及时处理死链对于SEO优化会有多大的影响嘛?今天就来普及下死链处理时的注意事项。

    756
    • 如何设置死链
    • 404
    • seo
  • 为什么网站有收录却没有流量?

    收录,流量

    相信很多人对于网站有收录但是却没有流量,甚至一些站点的整体收录不错,但是网站的流量却依然很差,今天潘某人SEO为您来揭秘其中的缘由!

    606
    • 收录
    • 流量
  • CDN防止网站被黑攻击

    CDN,网站被黑

    CDN的可以有效的隐藏网站的真实的IP地址,用户访问到的是离自己最近的CDN服务器;不仅仅加快了全球各地用户的访问速度体验,同时因为IP的隐藏,加大了攻击者访问到真实地址的难度,另一方学会如何设置好服务器的安全组,也可以有效防止网站被黑。

    977
    • CDN
    • 网站被黑
  • 别再一味的关注关键词排名

    关键词排名

    关键词排名不能代表什么,如果你一味的最求关键词排名,那么必然掉坑里;seo优化的最终目的是带来转化,这需要的是有价值的流量,需要的是有搜索热度并且匹配度高的关键词。

    760
    • 关键词排名
  • SEO的优化效果如何检查

    SEO优化效果检查

    SEO优化不仅仅是权重,重点是在你的流量是有价值的可以带来转化的流量及关键词,大家可以参照下本文的SEO优化效果检查有哪些指标。

    1636
    • SEO优化效果检查
  • 多个域名对网站seo有什么影响

    多域名解析

    多个域名对网站seo的影响你知道吗?对于多域名解析的态度就是能不用就千万别用,对于网站权重和收录都会有着严重的影响,处理不当那么对于网站优化是一个致命伤。

    2059
    • 多域名解析
  • seo优化思维重点是什么呢

    seo思维重点

    你对于SEO优化的核心重要真的了解吗?还在讲把网站的权重流量作为一直努力的方向吗?想方设法的去提升权重排名,但是你想过这一切到底有多大的意义呢?很显然对于SEO优化来说这些不是最核心的。

    1103
    • seo思维重点
  • 关键词排名到第一位的秘诀

    关键词排名,排名因素

    你有没有想过关键词排名第一的因素吗?为什么同样的内容在不同的站点排名就不一样?如果你但是简单的归于网站权重那么就大错特错了。

    884
    • 关键词排名
    • 排名因素
  • 百度索引量变化追查投诉方法

    百度索引量

    当百度索引量发生大幅度下跌时,如何进行原因的筛选来确定是正常波动,还是异常波动,及索引量下跌原因的排查方法及解决方案。

    1184
    • 百度索引量
  • SimHash算法,关键词堆砌打击

    SimHash算法

    Simhash算法又被SEO站长们成为关键词匹配算法,当用户搜索一个关键词的时候,会出现相关的网站进行展现,但是前些年有个别站长发现关键词密度越高排名越好,这是搜索引擎前期的漏洞,Simhash算法(也成分词匹配算法)对关键词堆砌起到了决定性的打击,

    3092
    • SimHash算法
  • SEO优化快速提升关键词排名

    关键词排名

    对于每一个希望通过搜索引擎优化(SEO)来增加网站曝光率的人来说,如何快速提升网站关键词的排名无疑是最关心的话题。然而,在实际操作中,很多人发现自己长时间的努力并没有带来预期的结果。那么,到底怎样才能有效地提高关键词排名呢?

    57
    • 关键词排名
  • 百度spider 主要抓取策略类型

    百度spider,抓取

    =Baiduspider在抓取过程中面对的是一个超级复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略。

    520
    • 百度spider
    • 抓取
  • SEO优化必须掌握的robots文件协议

    robots,SEO优化

    robots文件使用来申明网站哪些内容允许搜索引擎抓取,哪些内容禁止搜索引抓取的;正确的设置robots可以提升搜索引擎对网站的抓取效率,同时避免不必要的内容被抓取展现。但在实际运用中很多站点没有正确的使用robots导致了一些问题,今天潘某人SEO就为大家揭秘下robots的注意点。

    884
    • robots
    • SEO优化
  • 百度移动适配状态说明

    移动适配状态

    百度移动适配状态说明,对于适配的状态成功失败原因的分析以及解决方案。当认为实际情况与您提交的情况相符时,才会对适配数据进行生效处理,这个校验时间大约为10天。

    3499
    • 移动适配状态
  • ETag对于SEO优化的作用

    ETag,SEO优化

    ETag,全称Entity Tag,中文名为实体标签,是HTTP协议的一部分。它是Web服务器和浏览器用于确认缓存组件有效性的一种机制。合理正确的使用ETag对于seo优化可以起到非常大的帮助,今天就和潘某人SEO一起来了解下ETag是何为以及对SEO优化起到了何种作用。

    298
    • ETag
    • SEO优化
-- 这已经是底线了,看看别的把! --