如何入门 Python 爬虫?

Python011

如何入门 Python 爬虫?,第1张

“入门”是良好的动机,但是可能作用缓慢。如果你手里或者脑子里有一个项目,那么实践起来你会被目标驱动,而不会像学习模块一样慢慢学习。

如果你想要入门Python爬虫,你需要做很多准备。首先是熟悉python编程;其次是了解HTML;

还要了解网络爬虫的基本原理;最后是学习使用python爬虫库。

如果你不懂python,那么需要先学习python这门非常easy的语言。编程语言基础语法无非是数据类型、数据结构、运算符、逻辑结构、函数、文件IO、错误处理这些,学起来会显枯燥但并不难。

刚开始入门爬虫,你甚至不需要去学习python的类、多线程、模块之类的略难内容。找一个面向初学者的教材或者网络教程,花个十几天功夫,就能对python基础有个三四分的认识了。

网络爬虫的含义:

网络爬虫,其实也可以叫做网络数据采集更容易理解。就是通过编程向网络服务器请求数据(HTML表单),然后解析HTML,提取出自己想要的数据。

这会涉及到数据库、网络服务器、HTTP协议、HTML、数据科学、网络安全、图像处理等非常多的内容。但对于初学者而言,并不需要掌握这么多。

从爬虫必要的几个基本需求来讲:

1.抓取

py的urllib不一定去用,但是要学,如果还没用过的话。

比较好的替代品有requests等第三方更人性化、成熟的库,如果pyer不了解各种库,那就白学了。

抓取最基本就是拉网页回来。

如果深入做下去,会发现要面对不同的网页要求,比如有认证的,不同文件格式、编码处理,各种奇怪的url合规化处理、重复抓取问题、cookies跟随问题、多线程多进程抓取、多节点抓取、抓取调度、资源压缩等一系列问题。

所以第一步就是拉网页回来,慢慢会发现各种问题待优化。

2.存储

抓回来一般会用一定策略存下来,而不是直接分析,个人觉得更好的架构应该是把分析和抓取分离,更加松散,每个环节出了问题能够隔离另外一个环节可能出现的问题,好排查也好更新发布。

那么存文件系统、SQLorNOSQL数据库、内存数据库,如何去存就是这个环节的重点。

可以选择存文件系统开始,然后以一定规则命名。

3.分析

对网页进行文本分析,提取链接也好,提取正文也好,总之看的需求,但是一定要做的就是分析链接了。

可以用认为最快最优的办法,比如正则表达式。

然后将分析后的结果应用与其他环节:)

4.展示

要是做了一堆事情,一点展示输出都没有,如何展现价值。

所以找到好的展示组件,去show出肌肉也是关键。

如果为了做个站去写爬虫,抑或要分析某个东西的数据,都不要忘了这个环节,更好地把结果展示出来给别人感受。