学习 python 爬虫的路线
学习Python有个学习方向能够少走点弯路，就像在实习的时候，能够遇到一个好老大，给你稍微指一下方向，比你自己瞎jb琢磨的结果肯定结果相差很大。毕竟人家认知比你高上一截。
基本的 Python 语法
要用 Python 来写爬虫，当然是需要 Python 的基本语法了。Python的基本语法不难，之前我就写了一个小教程，讲的是 Python3 的一些基本使用，可以看看这里：python3入门基础有趣的教程
抓包工具
爬虫要去抓取网页上的内容，一些请求参数和返回数据信息，需要去分析和抓取，熟悉一下抓包工具的使用还是很有必要的，这不，我也写了一个关于 Fiddler 的使用：Fiddler抓包工具完全使用教程，还顺便装了个逼！
爬虫常用到的模块
Python 有一些内置的库，专门对一些网页数据的请求和解析使用的，比如urllib，http。
正则表达式
抓包获取到的数据，有很多数据是你不想要的，我们只需要拿到我们想要的数据就可以了，那么这个时候呢，正则表达式就派上用场了，常用的有：re，Xpath，BeautifulSoup。
反爬机制
有些网站被爬取怕了，做了一些爬虫的限制，要学点反爬机制才行，header，robot，时间间隔，ip代理，UA限制，Cookie限制等。
数据存储
爬取到的数据要存储下来吧，那么就要会数据库的操作，比如mysql。还要会数据去重操作。
爬虫效率
提高爬取数据的效率，就需要使用多线程，分布式。
爬虫的框架
站在巨人的肩膀上尿尿，那么就需要知道框架怎么使用，比如Scrapy，PySpider，简直牛逼。
常用接口说明，了解以下接口，大部分web自动化测试基本妥了
//导入库
import chrome.driver
//初始化驱动
var driver = chrome.driver()
var browser = driver.startBrowser()
//最大化窗口
browser.window.maximize()
//打开网站地址
browser.go("http://xxx")
//刷新
browser.refresh()
//查找element
browser.querySelector("#xxx")
browser.query(["name"]="xxx")
browser.query(["xpath"]="xxx")
//切换iframe
browser.frame(["id"]="xxx")
browser.frame(["id"]=1)
browser.frame.parent(["id"]=0)
//设置点击获取
.setValue("xxx")
.click()
.innerText()
.attribute.value.get()
.cookie.token.get()
