如何利用python爬取网页内容

Python031

如何利用python爬取网页内容,第1张

利用python爬取网页内容需要用scrapy（爬虫框架），但是很简单，就三步

定义item类

开发spider类

开发pipeline

想学习更深的爬虫，可以用《疯狂python讲义》

用python爬取网页数据就三步，用scrapy（爬虫框架）

1. 定义item类

2. 开发spider类

3. 开发pipeline

如果有不会的，可以看一看《疯狂python讲义》

爬虫流程

其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤

模拟请求网页。模拟浏览器，打开目标网站。

获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。

保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。

那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。

Requests 使用

Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。

模拟发送 HTTP 请求

发送 GET 请求

当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求

import requests

res = requests.get('http://www.douban.com')

print(res)

print(type(res))

>>>

<Response [200]>

<class 'requests.models.Response'>