python爬虫：微博评论分析

Python020

python爬虫：微博评论分析,第1张

最近王和李的离婚闹得沸沸扬扬，相信大伙们都已经吃了不少的瓜。本文结合李的第一篇文章发文下面的网友们的评论来看看大家到底怎么看待这件事。

数据来自该地址： https://weibo.com/5977512966/L6w2sfDXb#comment

爬取的下面的全部评论：

微博的网页属于Ajax渲染，当我们向下滑动的时候会显示的评论，地址栏的URL不变，需要找到实际的请求URL。

1、右击【检查】，找到【Network】

2、确定每页的内容URL

这里是首页部分

滑动之后显示每页内容的URL；

3、每页的URL地址

从第二页开始的URL地址多的部分是max_id，刚好这个参数的值是前一页的返回内容：

4、介绍第一页的爬取

比如我们可以获取第一个用户的相关信息：

最终我们可以看到第一页爬取的数据展示：

参考上面的逻辑可以爬取到微博下面的全部评论

导入需要的库：

查看我们爬取到数据的基本信息，我们导入前5行数据：

基本信息：查看数据的shape形状，总共是47638行，8个字段，并且不存在缺失值。

将我们爬取到的格林威治形式的时间转成熟悉的标准化时间形式：

国内的省份中北京、广东、上海、江苏都是吃瓜的大省份！

果然：女性真的很爱吃瓜