python总结-post请求

Python017

python总结-post请求,第1张

一个现象:

很多情况下,我们需要登陆账号,才能爬取更多的信息。

而我们想要登陆的话,则需要带上 cookies。

以 https://wordpress-edu-3autumn.localprod.oc.forchange.cn/wp-login.php](https://wordpress-edu-3autumn.localprod.oc.forchange.cn/wp-login.php) 作为爬虫范例吧。

账号:spiderman,密码:crawler334566

这里又来了一个post请求?

(1)post和get都可以带着参数请求,不过get请求的参数会在url上显示出来。

(2)post请求的参数就不会直接显示,而是隐藏起来。像账号密码这种私密的信息,就应该用post的请求。

(3)get请求会应用于获取网页数据,比如我们之前学的requests.get()。post请求则应用于向网页提交数据,比如提交表单类型数据(像账号密码就是网页表单的数据)。

【requests headers】存储的是浏览器的请求信息,【response headers】存储的是服务器的响应信息。我们要找的cookies就在其中。

【response headers】里有set cookies的参数。set cookies是什么意思?就是服务器往浏览器写入了cookies。

明天接着写cookies吧,难的地方分多步完成!

一、post请求及响应详解

返回结果:

大家看,其实通过post发送请求很简单

下面再讲讲返回信息的具体内容

大家看,其实有很多的返回值参数,其实我们实际中能用到的并不多,我下边一一列举出来了

response.json():返回信息的格式是json,应为我们请求的时候是json格式,返回的也是一个json,如果返回报错,应该是开发的接口出错了

response.text:如果response.json,可以使用text调试一下,看看具体的返回内容是什么,这里看到的都是字符串了

response.status_code:返回的http状态码,200是成功,404是未找到接口路径,500是服务器错误,等等

response.url:返回请求时的url地址

response.headers:返回服务器给你的响应header

response.cookies:返回服务器给你的cookies,这是一个多么好的获取cookie的方法啊,

response.content:同response.text是一样的

二、post请求中的其他参数

复制

import requests

res = requests.post(url="url",data="body",timeout=30,verfiy=False)

print(res.json())

url:请求的全路径地址,一定是要完整的路径哦

data:请求的内容,如果是json的格式,最好使用json.dumps,反序列化一下,避免格式错误,如果是其他格式,就都是字符串了

timeout:设置超时时间,这样我们在自动化测试和爬虫的时候,当达到了设置的超时时间,我们的程序就退出不会一直等待了,可以做其他操作了

verfiy:如果请求的接口是https协议,这个参数就很好用了,如果设置该参数为True,那么我们的脚本就是要配置CA证书,建议参数值为False,好用又简单

好了,post的请求详解就这些了,欢迎大家点赞留言,我会给大家解答疑问的

如果你使用了web框架,例如tornado,django,其中自带get,post方法,只要在响应的class里面,定义get,post函数,然后使用self.get_argument("xxx")就可以获得该参数。

如果你没有使用框架,python的urllib2模块,用调用response

=

urllib2.urlopen(url).read()响应的url,所有post,get的数据都在response

注意,response返回应该是json格式的,所以要用json模块,json.loads一下。

例如

response

=

urllib2.urlopen(url).read()

response

=

json.loads(response)

test

=

response["test"]