我们先来了解下搜索引擎是如何发现一个网站并进行收录的,实现这一功能主要依靠搜索引擎主动定期搜索和网站所有者进行主动提交。
搜索引擎定期搜索
定期搜索不名思意就是隔断时间进行搜索,即搜索引擎每过一定时间派出蜘蛛对互联网上资源进行检索你,以便及时的发现新网站,发现新网站之后搜索引擎会将新网站的信息以及网站地址加入自己的数据库中,以便后期的定期爬取网站的内容。
提交网站搜索
这种方式是网站所有者,通过搜索引擎的站长后台主动提交网站信息,这种方式可以让搜索引擎更快发现网站资源,加快网站的收录,当然进行主动提交并不一定代表蜘蛛回来,来了也不一定进行抓取,主要还是的看页面内容的质量,比如内容的原创度,内容的稀缺性;大家可以这样理解,百度收录你的页面会先建立索引,首先进行索引是要占用服务器资源,建立索引需要消耗存储空间,说到底开公司都是要赚钱的,所以搜索引擎,没有必要去抓取质量度、原创性不高的资源,如果你反复提交垃圾内容,最终可能蜘蛛来都不来,这是一项和蜘蛛建立信任关系的工作。