大量死链的存在容易造成搜索引擎对网站评级的降低,因为大量的死链接的存在,会对于用户访问时的体验造成严重的伤害。同时大量的死链存在,会浪费大量的抓取量,对于网站的正常收录都会造成严重的影响。
死链产生的原因
死链的定义:是对于已经被搜索引擎收录的页面被访问的时候,返回状态码是404的页面,即使页面内容正常显示,对于搜索引擎也是认定为死链,因此404状态码配置的时候要谨慎点。
主动生成:站点因为内容运营的需求,很多时候会删除一些过时无效的内容,就会造成大量无效页面的出现。
被动生成:有的站点因为网站被黑,生成了大量的垃圾页面;或者是程序出错,比如网站改版的时候,url规则变更导致有些路径的失效等等。
如何发现死链接
一种方式是通过百度资源平台,抓取异常模块我们可以看到,百度蜘蛛抓取时返回404状态码的链接,如下图所示。但是这种方法的弊端是搜索引擎每天只会抓取网站部分的内容,所以是无法通过这个方法发现所有死链。
给大家推荐一种更棒的死链发现方式,其实大可以对后端程序添加点小功能,对于被触发的404页面,可以进行存储下来。好处多多,有些404页面并不是死链,而是有人恶意嗅探站点的敏感路径或者是攻击。
如何删除死链
可以在网站根目录,一定是根目录,创建一个txt文件,并且保证这个文件路径,可以通过外网访问。然后把所有死链接一行一条存入这个txt文档,之后再把这个文件地址提交到各个搜索引擎站长工具进行提交,提交完之后保留几天等搜索引擎抓取生效即可,生效之后可以选择删除此文件。
需要注意的是,有些死链还是某个正常链接中的内链,记得把这类内链删除,否则当搜索引擎抓取正常页面时,抓取内链的时候又再次抓取到这类死链。
如果是网站被黑造成的死链,或者是一些有规律的死链,如处于同一个目录下的链接。在提交死链的同时,可以通过robots文件封禁相关目录。