学爬虫需要掌握的知识内容如下：
零基础想要入门Python爬虫，主要需要学习爬虫基础、HTTP和HTTPS、requests模块、cookie请求、数据提取方法值json等相关知识点。
只有在打牢理论知识的基础上，理解爬虫原理，学会使用 Python进行网络请求，才能做到真正掌握爬取网页数据的方法。当然如果大家觉得自学无从下手，可以在博学谷平台上观看视频课程进行学习。
爬虫的入门课程，让大家充分了解理解爬虫的原理，再学会使用 python 进行网络请求的同时，还能掌握如何爬取网页数据的方法，即掌握爬虫技术。
1、找URL，不同的网页请求方式不同，比如说登录，你点击登录的时候的url地址是什么？比如你要爬取图片，图片的地址怎么找？再比如你要获取某个话题的评论，如何获取多页的内容？
仅仅一个URL的获取就会涉及很多，网络 请求：http请求，https请求，请求头，请求方式，cookie等这些要明白。
2、了解了请求，那如何去拿到请求的内容呢？就需要用到一些请求库，比如urllib，requests，ajax或者框架scrapy。
3、拿到了内容密密麻麻的怎么提取我需要的，解析一般有四种方式：CSS选择器、XPATH、BeautifulSoup、正则表达式或普通字符串查找、JavaScript代码加载内容。这些内容需要具备前端的基础和xpath，BeautifulSoup库的使用等。
4、保存数据，数据最终持久化。
总的来讲，编程零基础的朋友不用担心自己学不会或学不好爬虫技术，只要大家选择了适合自己的学习课程，就会发现虽然爬虫技术需要学的内容很多，但是学起来并不枯燥困难，相反还十分有趣。想要掌握爬虫技术现在就开始学习吧。
任何事件在微博的发酵速度绝对是各大平台中最快的，如果把微博评论爬取下来，进行处理和分析，就能对某个事件的不同立场和风向有了全面的了解和掌握。
当然，评论量大的微博在爬取时耗费时间较长，为了缩短操作时间，找了老罗的一条评论不太多的微博进行演示。
Sitemap name : weibo
Start URL : https://weibo.com/1640571365/J0xeHw48Y?from=page_1035051640571365_profile&wvr=6&mod=weibotime&type=comment
有些页面变化比较细微，需要仔细观察才能发现，微博评论就是这样。
在拖动滚动条至出现「查看更多」的过程中，页面出现了轻微的卡顿，这表示页面有一部分会随着用户往下浏览而加载。
在爬取数据时，如果没有建立「滚动至底部」的选择器，让卡顿的页面也完全呈现出来，则会造成程序找不到「查看更多」的情况，导致大量的数据没有被爬取。
建立「滚动至底部」选择器
Id : scroll
Type : Element scroll down
Select : 点击第1条和第2条评论最外围的方形元素
点击 Done selecting!
勾选 Multiple
点击 Save seletor 完成创建
建立点击「查看更多」选择器
Id : more
Type : Element click
点击 Selector 的 Select : 点击第1条和第2条评论最外围的方形元素
点击 Done selecting!
点击 Click selector 的 Select : 点击「查看更多」，注意点击后对话框中的内容是「a.WB_cardmore」
点击 Done selecting!
Click type : Click more，表示需要不断点击「查看更多」
Click element uniqueness : unique CSS Selector
勾选 Multiple
点击 Save seletor 完成创建
点击刚刚创建的 more 选择器，在此选择器下创建爬取评论的选择器
Id : comment
Type : Text
Select : 点击黄色方形元素中的评论
点击 Done selecting!
点击 Save seletor 完成创建
Request interval 和 Page load delay 均按默认即可
链接：https://pan.baidu.com/s/1wMgTx-M-Ea9y1IYn-UTZaA
提取码：2b6c课程简介
毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？
Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。
带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。
课程目录
开始之前，魔力手册 for 实战学员预习
第一周：学会爬取网页信息
第二周：学会爬取大规模数据
第三周：数据统计与分析
第四周：搭建 Django 数据可视化网站
......
