学爬虫需要掌握的知识内容如下：
零基础想要入门Python爬虫，主要需要学习爬虫基础、HTTP和HTTPS、requests模块、cookie请求、数据提取方法值json等相关知识点。
只有在打牢理论知识的基础上，理解爬虫原理，学会使用 Python进行网络请求，才能做到真正掌握爬取网页数据的方法。当然如果大家觉得自学无从下手，可以在博学谷平台上观看视频课程进行学习。
爬虫的入门课程，让大家充分了解理解爬虫的原理，再学会使用 python 进行网络请求的同时，还能掌握如何爬取网页数据的方法，即掌握爬虫技术。
1、找URL，不同的网页请求方式不同，比如说登录，你点击登录的时候的url地址是什么？比如你要爬取图片，图片的地址怎么找？再比如你要获取某个话题的评论，如何获取多页的内容？
仅仅一个URL的获取就会涉及很多，网络 请求：http请求，https请求，请求头，请求方式，cookie等这些要明白。
2、了解了请求，那如何去拿到请求的内容呢？就需要用到一些请求库，比如urllib，requests，ajax或者框架scrapy。
3、拿到了内容密密麻麻的怎么提取我需要的，解析一般有四种方式：CSS选择器、XPATH、BeautifulSoup、正则表达式或普通字符串查找、JavaScript代码加载内容。这些内容需要具备前端的基础和xpath，BeautifulSoup库的使用等。
4、保存数据，数据最终持久化。
总的来讲，编程零基础的朋友不用担心自己学不会或学不好爬虫技术，只要大家选择了适合自己的学习课程，就会发现虽然爬虫技术需要学的内容很多，但是学起来并不枯燥困难，相反还十分有趣。想要掌握爬虫技术现在就开始学习吧。
让适合的人走进你的生活吧，让旧梦逝去吧，让不合适的那个离开吧。人生，看轻看淡多少，痛苦就离开你多少。因为看轻，所以快乐！
使用关键字传参，如果参数名不是find系函数已定义的位置参数名，参数会被kwargs收集并被当做 标签的属性来搜索 (拥有ID属性的标签)。
属性的传参可以是字符串、正则表达式对象、True、列表。
class是Python关键字，所以使用 class_ 。class是多值属性，可以匹配其中任意一个，也可以完全匹配。
属性：attrs接收一个字典， 字典的key为属性名， value可以是字符串、正则表达式对象、True、列表
可以通过text参数 搜索文档中的字符串内容，接受字符串、正则表达式对象、True、列表
限制返回结果的数量
默认是递归搜索所有子孙节点，如果不需要请设置为False
find_all()是非常常用的方法，可以简化省略掉
find( name , attrs , recursive , text , **kwargs )
和JQuery一样，可以使用CSS选择器来查找节点
使用soup.select()方法，select方法支持大部分CSS选择器，返回列表。
CSS中，标签名直接使用，类名前加.点号，id名前加#井号。
搜索节点的目的往往是为了提取该节点的文本内容， 一般不需要HTML标记， 只需要文字
拿到一个Json字符串，如果想提取其中的部分内容，就需要遍历了。在遍历过程中进行判断。
还有一种方式，类似于XPath，叫做JsonPath。
下表中列出了对应了JSONPath以及对应的XPath用法
依然用豆瓣电影的热门电影的Json， 找到得分高于8分的
https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0
异步请求的数据在XHR中，request请求的html不一定有我们想要的数据；
您好，span标签下拉框的定位可以通过CSS选择器来实现，比如：span[name="dropdown"] {position: absolute}。这样就可以把span标签下拉框定位到指定的位置。此外，还可以使用JavaScript来实现定位，比如：document.getElementsByName("dropdown")[0].style.position = "absolute"。这样就可以把span标签下拉框定位到指定的位置。
