从零开始学Python爬虫(四):正则表达式

Python013

从零开始学Python爬虫(四):正则表达式,第1张

Regular Expression, 正则表达式, 种使 表达式的 式对字符串进 匹配的语法规则。

我们抓取到的 源代码本质上就是 个超 的字符串, 想从 提取内容。 正则再合适不过了。

正则的优点: 速度快, 效率 , 准确性 正则的缺点: 新 上 难度有点 。

不过只要掌握了正则编写的逻辑关系, 写出 个提取 内容的正则其实并不复杂

正则的语法: 使 元字符进 排列组合 来匹配字符串

在线测试正则表达式网址:

https://tool.oschina.net/regex/

元字符: 具有固定含义的特殊符号 常 元字符:

量词: 控制前 的元字符出现的次数

贪婪匹配和惰性匹配

这两个要着重的说 下,因为我们写爬 的最多的就是这个惰性匹配。

先看案例

那么接下来的问题是, 正则我会写了, 怎么在python程序中使 正则呢?答案是re模块

re模块中我们只需要记住这么 个功能就 够我们使 了。

下面一个案例,是练习用正则表达式提取豆瓣电影top250的数据并保存,一起来学一下吧。

背景:首先对于登录页面,你作为普通人类,是怎么需要输入账号和密码,才能登录后,查看到页面的。

用selenium:那么就是让selenium去定位到对应的账号输入框和密码输入框,分别输入账号和密码,再定位到登录按钮,点击登录。即可模拟人类去登录,登录后页面刷新,看到你要的内容。

你要处理的内容,属于爬虫领域。

所以你最好先去了解背景知识:

先去搞懂爬虫基础:

前言 · 爬取你要的数据:爬虫技术

再去了解如何用Python写:

如何用Python写爬虫

最后再参考

心得和总结 · Selenium知识总结

估计会用到find_element_by_id或find_element_by_xpath等方面的函数去定义你的输入框或按钮。

链接: https://pan.baidu.com/s/1DSW8IPOuu9XCAyKGy1VZmw

提取码: cqys

python爬虫课程以Python语言为基础描述了网络爬虫的基础知识,用大量实际案例及代码,介绍了编写网络爬虫所需要的相关知识要点及项目实践的相关技巧。