首页 >  SEO >  SEO算法 >  正文

TF-IDF算法、关键词的形成条件

2046

说到SEO优化,那么第一次反应就是关键词的排名。很多人对于关键词的认知就是我在TDK中突出的词,或者把一个词在文章中突出重复,提升这个词的密度就可以让搜索引擎认为这个词是这个页面的关键词,然后一个词是否能成为关键词,并不是简单的重复就可以实现的,更多的是参考TF-IDF算法值来确定一个词是否成为关键词。

什么是TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。

上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.这也就是TF-IDF的含义.

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。)

但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足:一个词预测主题的能力越强,权重越大,反之,权重越小。所有统计的文章中,一些词只是在其中很少几篇文章中出现,那么这样的词对文章的主题的作用很大,这些词的权重应该设计的较大。IDF就是在完成这样的工作.


关键词的生成

TF-IDF算法计算公式


  1. TF计算公式

TF计算公式

逆向文件频率 (inverse document frequency, IDF) IDF的主要思想是:如果包含词条t的文档越少, IDF越大,则说明词条具有很好的类别区分能力。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。

 

2.IDF计算公式

IDF计算公式

某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。

 

3.TF-IDF算法计算公式

TF−IDF=TF∗IDF

TF-IDF值越大,则这个词成为一个关键词的概率就越大。


TF-IDF算法实例

以《亚洲的网络技术》为例,假定该文长度为1000个词,"亚洲"、"网络"、"技术"各出现20次,则这三个词的"词频"(TF)都为0.02。 然后,搜索Google发现,包含"的"字的网页共有250亿张(假定这就是中文网页总数),包含"亚洲"的网页共有62.3亿张,包含"网络"的网页为0.484亿张,包含"技术"的网页为0.973亿张。则它们的逆文档频率(IDF)和TF-IDF的计算结果如下:

TF-IDF算法实例

从上表可见,"网络"的TF-IDF值最高,"技术"其次,"亚洲"最低。(如果还计算"的"字的TF-IDF,那将是一个极其接近0的值。)所以,如果只选择一个词,"网络"就是这篇文章的关键词。 除了自动提取关键词,TF-IDF算法还可以用于许多别的地方。比如,信息检索时,对于每个文档,都可以分别计算一组搜索词("亚洲"、"网络"、"技术")的TF-IDF,将它们相加,就可以得到整个文档的TF-IDF。这个值最高的文档就是与搜索词最相关的文档。 TF-IDF算法的优点是简单快速,结果比较符合实际情况。缺点是,单纯以"词频"衡量一个词的重要性,不够全面,有时重要的词可能出现次数并不多。而且,这种算法无法体现词的位置信息,出现位置靠前的词与出现位置靠后的词,都被视为重要性相同,这是不正确的。(一种解决方法是,对全文的第一段和每一段的第一句话,给予较大的权重。)


TF-IDF算法不足

TF-IDF 算法会倾向于选出某一特定文档内的高频词语,同时该词语在整个文档集合中分布是比较集中的。因此,TF-IDF算法倾向于过滤掉常见的词语,保留“独有”词语。但是这也造成了TF-IDF算法的缺陷。 因为IDF的主要思想是:如果包含词条t的文档越少,也就是n越小,idf越大,则说明词条t 具有很好的类别区分能力。如果某一文档C中包含词条t的文档数为m, 而其他类包含t的文档总数为k,显然所有包含t的文档数n = m + k, 当m大的时候,n也大,按照IDF公式得到的IDF的值会小,就说明该词条t 类别区分能力不强。但实际上,如果一个词条在一个类的文档中频繁出现,则说明该词条能够很好地代表这个类的文本特征,这样的词条应该给它们赋予较高的权重,并选来作为该类文本的特征词,以区别于其他类的文档。


比如对于如下几个短文本:

1、鲜花多少钱?

2、白百合多少钱?

3、月季多少钱?

4、香蕉多少钱?


如果按照TF-IDF算法,鲜花、香蕉这些主体词会成为关键词,但是从这些语句的总体来看,他们又都属于询问价格的类型,所以“多少钱”应该成为关键词。这就是IDF的不足之处。

改进的方法可以通过改变文档结构,比如将上述短文本归并为一个文档,这样就可以在增加TF值的同时,也增加IDF值。但是这样就会增加模型的计算成本,需要大量的人为经验加入其中。

申明:本站内容仅代表个人观点,仅供学习参考;未经授权任何个人或组织单位不得复制、转载、摘编以及其它形式的应用! 本站文章可能使用到互联网上的资料,若对您造成困扰,请联系 kk19@foxmail.com除理 本文地址:https://www.chateach.com/seo/seosuanfa/382
相关文章
  • robots协议不生效怎么处理

    robots

    为什么明明已经设正确设置的robots的屏蔽规则,但是就是不生效导致不该收录的内容被收录了呢?

    608
    • robots
  • 别让面面俱到毁了你的SEO

    网站目录,SEO

    现在很多的站点都有一个现象,一种非常不利于SEO优化的现象,但却是很多站点设计的时候必踩的雷区。超级多的网站目录,看似非常合理的设计,实则利大于弊。

    251
    • 网站目录
    • SEO
  • SEO与付费SEM推广哪个好?

    SEO优化,SEM推广

    网站的推广方式只要有两种SEO(搜索引擎优化)和SEM(搜索引擎竞价推广),两者同时通过在搜索关键词时在搜索引擎上获得靠前的排名,增加展现几率来获取用户的点击。那么SEO与付费SEM推广哪个好呢,那种推广方式才更加适合我们呢?

    763
    • SEO优化
    • SEM推广
  • SEO已死?还是你没搞懂SEO

    SEO已死,

    SEO还值得做吗?9成以上的站点的SEO优化基本不会有很好的效果,基本都是已失败告终,你知道为什么吗?

    726
    • SEO已死
  • SEO列表页如何做,你的方法正确吗?

    列表页,SEO优化,栏目页

    列表页的优化可以说是充满了奥秘,不管是内容层面还是SEO优化层面。如果思路出现了问题,那么自然不可避免影响整体的效果,今天潘某人SEO通过几个重要的纬度和大家探讨下如何正确的优化网站列表页。

    598
    • 列表页
    • SEO优化
    • 栏目页
  • 进入前100名的关键词如何提升排名

    关键词排名提升

    进入前100名的关键词如何提升排名如何提升?持续更新,切勿大动干戈,50-100名就是就是搜索引擎对页面最后的考察期,一旦进了50名那就不一样了。按照以往的经验来说,网站排名在这个区间会持续短则一个星

    1382
    • 关键词排名提升
  • 索引量变化存在的误区

    索引量

    索引量是那个站长都会关注的点,对于SEO优化来说是非常重要的指标,但是很多人对于索引量的变化存在错误的认知,为大家总结了常见的对于索引量变化的误区。要正确的认知索引量变化的影响,首先要明白什么是索引量。索引量简单讲就是站点内容经过搜索引擎抓取,算法分析之后符合标准,建立索引进入索引库的数量,内容只有进入的索引库是进行排名展现的必要条件。

    643
    • 索引量
  • 如何选择合适的编程语言构建SEO友好的网站

    编程语言,SEO友好

    决定搜索引擎优化(SEO)优化的最终结果的因素很多,网站的编程语言可以算作是重要的因素之一,并且编程语言的选择是网站的开端,并且后期更改的代价是非常大的,因此选择正确的编程语言对于SEO优化是非常的重要的。

    612
    • 编程语言
    • SEO友好
  • 网站备案的注意事项,减少SEO的影响

    网站备案注意事项,备案SEO影响

    网站备案有的时候是需要关停网站的,这种情况非常不利于SEO优化,我们应该如何应对。同时在网站备案哪些方面需要我们注意,如果快速的完成备案。

    1666
    • 网站备案注意事项
    • 备案SEO影响
  • 为什么网站有收录却没有流量?

    收录,流量

    相信很多人对于网站有收录但是却没有流量,甚至一些站点的整体收录不错,但是网站的流量却依然很差,今天潘某人SEO为您来揭秘其中的缘由!

    457
    • 收录
    • 流量
  • ALT标签如何使用

    ALT标签,图片优化

    ALT标签如何使用才能发挥它的作用呢,合理的使用alt标签可以有效的提升关键词的密度,以及网站的site出图率,对于转化和点击率有着重要的提升。

    1576
    • ALT标签
    • 图片优化
  • SEO如何正确的判断网站关键词流量

    关键词流量,SEO优化,

    大家流量统计会用什么根据呢,百度统计?相信很多站点的流量统计都是按照百度统计来计算,但是对于SEO优化来说是远远不够的。个人认为百度统计并不是非常适用于SEO优化效果的判定,对于百度SEO优化效果推荐大家使用百度搜索资源平台的中流量与关键词工具,比起百度统计更加适用。

    941
    • 关键词流量
    • SEO优化
  • 搜索引擎检索原理解析

    搜索引擎,检索原理

    搜索引擎检索原理解析,搜索引擎是如何实现关键词的精准匹配?

    1122
    • 搜索引擎
    • 检索原理
  • h1标签对seo优化重要吗

    H标签SEO优化

    H标签可以通过重要程度分为H1>H2>H3>H4>H5>H6.........,那么很多都会想到既然H1标签可以突出页面的重点,那么岂不是对于想要优化的关键词我们可以使用H1标签来突出它?

    1423
    • H标签SEO优化
  • 关键词难易度评估方法

    关键词难度评估

    选好关键词是SEO优化的关键因素,关键词的质量可以决定搜索量、排名、以及转化等。关键词是网站和搜索引擎和用户三者衔接的桥梁。关键词的选择充满了奥秘,简单的讲我们需要考虑这个关键词的搜索量毕竟没有流量的关键词排名再高也没用,其次关键词的排名对于自己站点的难易程度,以及最关键的流量以及转化的平衡点的把握。

    847
    • 关键词难度评估
  • seo优化建站及内容维护应该注意哪些细节

    seo优化,seo建站,内容优化

    seo优化应该注意哪些细节,常见的违规行为有哪些,如何优化对搜索引擎更加的友好呢?在内容优化上又需要注意什么呢?如何才能拥有更好的排名效果呢?

    619
    • seo优化
    • seo建站
    • 内容优化
  • 各搜索引擎蜘蛛IP大全持续更新

    蜘蛛IP,引擎蜘蛛

    各搜索引擎蜘蛛IP大全持续更新,各个搜索引擎的蜘蛛ua,持续更新中。

    2541
    • 蜘蛛IP
    • 引擎蜘蛛
  • SEO优化移动端时应该注意什么?

    移动端优化

    移动设备上网已经逐渐的成为了现在大家主要的上网途径。因此对于SEO人员来说就需要开始对移动端的优化重视起来,学会抢占先机可以更好的提升胜率。毕竟移动端在将来会成为更加重要的存在。那么我们在移动端优化的时候需要注意什么呢?

    1250
    • 移动端优化
-- 这已经是底线了,看看别的把! --