NLP之gensim库python实现文本相似度匹配查重

Python013

NLP之gensim库python实现文本相似度匹配查重,第1张

给定一个或多个搜索词,如“高血压 患者”,从已有的若干篇文本中找出最相关的(n篇)文本。

文本检索(text retrieve)的常用策略是:用一个ranking function根据搜索词对所有文本进行排序,选取前n个,就像百度搜索一样。

结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词]

对一篇文章分词、去停用词

对目录下的所有文本进行预处理,构建字典

本功能实现逻辑如下:

主要使用Python的urllib.request库来调用https://nlp.xiaoi.com/上的接口,具体接口可以通过浏览器抓包获取,然后根据抓包信息进行url的构造,使用urllib.request库的urlopen函数来调用构造的url,将其返回进行编解码之后,使用re模块将所需信息匹配出来。

功能实现脚本如下:

因为工作养成的习惯,生怕写的脚本在别的环境跑出问题,索性将它编译成exe文件。

使用pyinstall库来实现py脚本到exe文件的编译过程。

(本文参考csdn上的一篇文章,路径如下:https://blog.csdn.net/jiahuiandxuehui/article/details/118193844,不过这里的运行后返回结果会有一些\r\n这种东西,这里我修改了一下正则表达式,把不重要的信息给过滤掉了。)