python怎么建立成语词库

Python017

python怎么建立成语词库,第1张

1、创建一个dict.txt，写入分词，一个词占一行。每一行分三部分：词语、词频、词性，用空格隔开，顺序不可颠倒。

2、在分词前通过jieba.load_userdict(file_name)来加载分词字典。

3、点击保存就成功创建成语词库了。

jieba库是一款优秀的 Python 第三方中文分词库，jieba 支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。

精确模式：试图将语句最精确的切分，不存在冗余数据，适合做文本分析

全模式：将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据

搜索引擎模式：在精确模式的基础上，对长词再次进行切分

一、jieba库的安装

因为 jieba 是一个第三方库，所有需要我们在本地进行安装。