python jieba分词如何去除停用词

Python018

python jieba分词如何去除停用词,第1张

-*- coding: utf-8 -*-

import jieba

import jieba.analyse

import sys

import codecs

reload(sys)

sys.setdefaultencoding('utf-8')

#使用其他编码读取停用词表

#stoplist = codecs.open('../../file/stopword.txt','r',encoding='utf8').readlines()

#stoplist = set(w.strip() for w in stoplist)

#停用词文件是utf8编码

stoplist = {}.fromkeys([ line.strip() for line in open("../../file/stopword.txt") ])

#经过分词得到的应该是unicode编码，先将其转成utf8编码

你把你的停用词排一下序，然后再给结巴看看。

或者加两个停用词，一个河北、一个西南部。

停用词通常是很短的高频出现的词语，真实情况你这样的不多。

如果你这种情况，不妨先分词，也不去停用词。

然后自己再来后续处理。