python有没有什么包能判断文本相似度

Python036

python有没有什么包能判断文本相似度,第1张

安装python-Levenshtein模块

pip install python-Levenshtein

使用python-Levenshtein模块

import Levenshtein!

给定一个或多个搜索词,如“高血压 患者”,从已有的若干篇文本中找出最相关的(n篇)文本。

文本检索(text retrieve)的常用策略是:用一个ranking function根据搜索词对所有文本进行排序,选取前n个,就像百度搜索一样。

结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词]

对一篇文章分词、去停用词

对目录下的所有文本进行预处理,构建字典

通过夹角的大小,来判断向量的相似程度。夹角越小,就代表越相似。

余弦相似度是文本相似度度量中使用较多的一种方法,对于两个向量X和Y,其对应的形式如下:

X=(x1,x2...,xn)

Y=(y1,y2...,yn)

其向量的余弦相似度公式为:

X,Y对应其中的A和B

python实现:

输出结果:0.5000000000000001

结果越接近1,夹角就越接近0,代表越相似。

越趋近于-1,他们的方向越相反;接近于0,表示两个向量近乎于正交