首页 >  SEO >  SEO标签 >  正文

如何屏蔽某些页面的抓取,但是让页面中链接正常抓取

 作者:潘某人SEO
2989

页面抓取简单的讲就是你希望哪些页面会被收录,让会去让搜索引擎抓取,但是在现实中不是所有的页面我们希望被抓取的,有些内容是涉及隐私数据。或者是有些内容与某些页面是重复的,这个时候我们也是需要做控制,这也页面不被收录。

但是有的时候情况又很复杂,比如这个页面不希望被抓取,但是页面上的链接希望抓抓取;或者说是当前页面期望被抓取,但是页面上的链接不希望被抓取,但是组合一下情况有很多很复杂。

那么屏蔽搜索引擎抓取页面的方法有哪些,今天就举例一些情况来说明,在讲各种情况之前先回顾下屏蔽抓取的方法有哪些。主要的是robots文件禁止抓取、nofollow标签禁止抓取,一般这两种用的比较多,很少人知道meta标签的方法来禁止搜索引擎抓取,并且这只方法应用其实更加的广泛。


meta标签屏蔽抓取的方法

<meta name="robots" content="noindex,nofollow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,并且当前页面中的链接也不进行抓取
<meta name="robots" content="index,nofollow">//这种方法是屏蔽所有搜索引擎,抓取当前页面,并且当前页面中的链接不进行抓取
<meta name="robots" content="noindex,follow">//这种方法是屏蔽所有搜索引擎,不抓取当前页面,但是抓取当前页面中的链接

关注公众回复“meta屏蔽”获取代码


如果你想要仅仅是对于某一个搜索引擎生效,那么很简单只要将name=“robots”修改成对应的蜘蛛名字,比如百度搜索引擎修改成name=“Baiduspider”,以此类推是不是很简单,这种方法适用于对使用同一个模板代码的页面可以简单快速做好页面抓取屏蔽的设置,他的优势很好的补偿了robots文件屏蔽方法的不足,因为在robots方法屏蔽抓取的时候,一般是只能通过路径匹配,这个时候其实很多网站有些需要抓取或者不需要被抓取的内容,因为前期代码编写时规划的不好就会混在一个路径下,这个时候通过robots方法屏蔽就变得很麻烦。并且robots方法危险性比较高,有的时候网站更新的时候,如果不慎把robots文件改变了,也是常有的事情。

对于nofollow标签就更加不用说,这种方法适用于页面中链接的抓取屏蔽,局限性就更加的大,一般不会用于大批量的页面屏蔽工作中。

申明:以上内容仅代表个人观点,仅供学习参考 本站图片来源于站点原创或CC0协议图库站点或已获得VRF授权的图库站点 版权申明:本文为博主原创,未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本文地址:https://www.chateach.com/seo/seobiaoqian/285
相关文章
  • SEO优化内容应该走心还是走量

    SEO优化,内容数量质量

    SEO优化内容应该应该注重内容质量还是内容数量,作为SEO一员的你肯定会困扰于,索引量上不去,展现低,流量不理想会。不管怎么做就是没有明显改变,那么希望这篇文章可以帮助到你。

    418
    • SEO优化
    • 内容数量质量
  • 搜索引擎网页质量判定的标准

    搜索引擎,网页质量

    搜索引擎的根本是什么,是内容是对于用户搜索需求满足,这是搜索引擎最根本的逻辑,后续的一切也都是根据这个方向展开的。根据《百度搜索引擎网页质量白皮书》,站长们在百度搜索引擎优化中如何才能输出高质量内容呢?

    519
    • 搜索引擎
    • 网页质量
  • 百度移动适配工具如何使用

    移动适配工具

    百度移动适配工具如何使用?百度移动搜索提供“移动适配”服务,如果您同时拥有PC站和手机站,且二者能够在内容上对应,即主体内容完全相同,您可以通过移动适配工具进行对应关系提交。

    2009
    • 移动适配工具
  • seo优化必须知道的网站路径结构重点

    seo优化,网站路径,采集

    网站路径是最容易被站长们忽略的关键点,网站路径对于网站的结构有着关键的影响,并且对于seo优化起到了深远的影响。今天给大家分享下,网站路径与seo之间的关系,我们应该如何处理正确的处理网站路径。

    692
    • seo优化
    • 网站路径
    • 采集
  • 网站不收录的原因及如何处理应对

    收录

    网站不收录问题不管是新站还是老站都会面临的问题,那么当网站遇到收录问题的时候应该如何应对,如何找到问题所在呢?

    493
    • 收录
  • 百度spider抓取频次原则及调整方法

    百度spider,抓取频次

    Baiduspider根据上述网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢?

    258
    • 百度spider
    • 抓取频次
  • ​什么是链接农场和链接工厂

    链接农场,链接工厂

    ​什么是链接农场和链接工厂,对于SEO优化会有什么影响呢?链接农场是将网站做成一个链接的养殖场,这类站点的特点就是内容质量非常低,甚至内容都很少,页面中存在海量的链接,专门用于搜集网站和交换链接提升PageRank(pr值),而没有或很少有实质性的对用户有用的内容。

    1249
    • 链接农场
    • 链接工厂
  • 如何安全增加关键词密度

    关键词密度

    那么在当今的算法下不能堆砌关键词,那么如何提升关键词的排名呢?不管算法怎么更新,关键词密度还是永远不变的本质,我们需要的是采用正确的方法提升关键词密度。

    1049
    • 关键词密度
  • 详解ICP备案必须知道的那些事

    ICP备案

    详细的罗列了网站ICP备案需要注意的一些问题,以及如何正确的进行备案号的悬挂,快来比对看下你是否做对了。

    760
    • ICP备案
  • 学习seo网站优化难吗

    seo网站优化难吗

    对于SEO优化这个岗位可以说任何一个学科都不涉及,因此SEO优化基本都是零基础入门的,那么SEO优化学习难吗?如何才能够学好SEO优化呢?也许你是参加了培训机构,也许你是自学SEO优化。

    995
    • seo网站优化难吗
  • IP地址段表达方式

    IP地址,IP区间段,ip表达式

    ip/8/16/24,IP大家在熟悉不过了,但是大家真的了解IP吗?如何表示一段区间的IP端呢?在网站优化的时候IP的屏蔽是经常需要做的一件事,如果需要屏蔽的IP都在一个段区间内,你还在一个个屏蔽吗,有没有一种快速屏蔽一段IP的方法吗。

    2396
    • IP地址
    • IP区间段
    • ip表达式
  • 商城网站如何进行SEO优化呢?

    商城SEO优化

    商城类站点流量只是一个最基本的,但是需要获得转化还有更加重要的方面综合考量,下面就列出商城站点需要注意的几个方面。

    1853
    • 商城SEO优化
  • 子目录与二级域名,哪个更利于SEO!

    二级目录排名,子目录,二级域名

    当你网站内容需要扩展的时候你会选择二级域名还是子目录的方式呢?采用哪种方法对于SEO优化的效果更好呢?

    957
    • 二级目录排名
    • 子目录
    • 二级域名
  • 友情链接的作用

    友链的作用

    如果说你对于友情链接作用,只是认为可以提升网站的权重,那么只能证明你狭隘了。说真的其实现在友情链接对于网站权重的贡献并不是其最重要的作用,今天我们就讲一下友情链接还有哪些作用。

    1133
    • 友链的作用
  • SEO关键词优化的必需知道的秘诀

    SEO关键词优化

    SEO关键词优化的必需知道的秘诀?SEO优化的本质上让设置的词有排名,通过搜索,能找到我们的网站(引流)。做优化的时候,我们还是需要掌握一点小技巧,方法策略运用对了。后面优化起来就会比较方便,而关于技巧方面的。

    997
    • SEO关键词优化
  • 落地页规范之如何正确设置咨询窗口

    咨询窗口,落地页

    带大家深入解读下此次的落地页体验说明对于咨询类功能使用的重点。咨询类功能是站点重要的转化入口,简单的理解就是网页中咨询建议的按钮及在线沟通工具的窗口。​近期百度发布了搜索违规落地页的体验问题说明,主要从pc端移动适配、页面排版布局、交互功能规范,这三方面进行了说明。各个站长还是速度的自查站点是否有违规的行为,又一波考验到来了。

    708
    • 咨询窗口
    • 落地页
  • 必应搜索SEO优化值得做吗

    必应搜索,SEO优化

    对于站点SEO优化来说,必应不但可以带来可观的流量,也同时降低了站点运营风险,如今搜索引擎竞争激烈,算法调整,站点流量的稳定性就是一个不可控的因素。在条件允许的前提下,必应搜索是非常值得一做。

    622
    • 必应搜索
    • SEO优化
  • 域名注册注意什么

    域名注册注意点

    域名注册注意什么?对于网站优化来说域名的选择是非常重要的,如果在域名的选择注册时发生了错误,那么对于网站后续的SEO优化是一个非常不利的起点,对于任何一件事一个好的开始是成功的一半。

    851
    • 域名注册注意点
-- 这已经是底线了,看看别的把! --