Python豆瓣电影《肖申克的救赎》评论爬取

2023-02-20 06:26:01Python010

Python豆瓣电影《肖申克的救赎》评论爬取,第1张

先看效果图：

地址：（ https://movie.douban.com/subject/1292052/comments?sort=time&status=P）

爬取前1w条评论

存储成txt文档

数据预处理

中文分词

统计top10的高频词

可视化展示高频词

根据词频生成词云

审核评论

================================================================

配置准备

中文分词需要jieba

词云绘制需要wordcloud

可视化展示中需要的中文字体

网上公开资源中找一个中文停用词表

根据分词结果自己制作新增词表

准备一张词云背景图（附加项，不做要求）

paddlehub配置

#安装jieba分词和词云

pip install jieba

pip install wordcloud

#安装paddle

pip install --upgrade PaddlePaddle

#安装模型

#hub install porn_detection_lstm==1.1.0

pip install --upgrade paddlehub

pip install numpy

#安装Beautifulsoup

pip install BeautifulSoup4

Github地址： https://github.com/mikite/python_sp_shawshank

有可能遇到的问题：

1.UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe8 in position 1: invalid continuation byte

解决方法：

1.不使用urlLib换做requests

2.去掉请求头中的 'Accept-Encoding': 'gzip, deflate, br'

3.返回值reponse 转字符串指定编码utf-8

# 'Accept-Encoding': 'gzip, deflate, br',

2.关于cookie

解决方法：

1.去豆瓣请求头中复制cookie设置到请求头中

'Cookie': 'bid=WD6_t6hVqgM'

3.请求返回418的问题

解决方案模拟设置请求头，设置user-agent

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36',

4.使用beautifulsoup获取不到评论

解决方法：

第一步：指定解析参数为'lxml'

soupComment = BeautifulSoup(html, 'lxml')

第二步：

findAll方法指定css文件的class名

print('网页内容：', soupComment.prettify())

comments = soupComment.findAll(class_='short')

点击获取源码

第一眼见他，吸引我的是他的笑容，感觉就是那句话，他的眼睛装下了星辰，看久了就容易陷进去，看我的皇帝陛下的时候，被他儒雅的气质所吸引，总觉得陌上人如玉，公子世无双，就是在说他，当时就觉得他一定会火的，今年夏天的陈情令又让我折服于他的演技之下，有匪君子如切如磋如琢如磨，他微微一笑，仍是初见的模样，如画的眉眼，漆黑的发。仍是我当年爱的那个少年郎。

扩展资料

肖战，1991年10月5日出生于重庆，中国内地男演员、歌手。

2015年，以选手的身份参加浙江卫视才艺养成选秀节目《燃烧吧少年》。2016年4月，主演校园星座超能力网络剧《超星星学园》。2017年，在古装言情传奇剧《狼殿下》中饰演浪迹天涯的赏金猎人疾冲。

2018年4月25日，古装奇幻网络剧《哦！我的皇帝陛下》在腾讯视频播出，肖战凭北堂墨染一角崭露头角。2019年6月27日，领衔主演的古装仙侠剧《陈情令》在腾讯视频播出，肖战凭魏无羡一角赢得广泛关注；8月，主演都市情感剧《余生，请多指教》；9月13日，主演的古装仙侠电影《诛仙I》在全国上映。2020年1月11日，肖战获得微博之夜微博King的荣誉。

提起python根据年龄算属相，大家都知道，有人问根据属相算年龄怎么算？？另外，还有人想问使用Python,根据出生日期算属相，你知道这是怎么回事？其实如何根据年龄推算属相，下面就一起来看看python 编写一个程序,判断一个给定的年份属于哪一个生肖？希望能够帮助到大家！

python根据年龄算属相

defshengxiao(year):

如何根据年龄推算属相

returnu’猴鸡狗猪鼠牛虎兔龙蛇马羊'[year%12]

shengxiao()

根据人的实际年龄怎样推算人的十二生肖

把他的年龄除以12，得到余数，然后倒推上去

比如A今年14岁，14除以12得1余数为2，今年是牛年，那么由牛开始倒推鼠，猪。所以95年生的不是属狗就是属猪，基本上95年2，3以后的都属猪，之前的属狗。

怎么根据年龄算十二生肖

首先需要熟练记忆各生肖所代表的数字：鼠1，牛2，虎3，兔4，龙5，蛇6，马7，羊8，猴9，鸡10，狗11，猪12，单轮内排名越前年龄越大。

例如今年年是猪年，那么年龄最小的猪就是1岁，最小的狗就是2岁，最小的鸡就是3岁……（以此类推）最小的鼠就是13岁。