怎样处理python爬虫中有中文的url

Python011

怎样处理python爬虫中有中文的url,第1张

一,先举个例子:比如你要处理的url链接

二,说你为什么要处理中文,是因为url有中文requests请求不到数据还是其他原因,

你应该打开该网站,f12开发工具看请求的链接是什么形式

三,url里的中文要转化换成什么,是MD5Z值(8a91ee17510f2b7401510f60a67f039c

),还是中文转码为%E5%A5这种

四,事情说清楚,想干什么,得到什么结果,怎么解决

先引入urllib模块

假如我们要对下面的url进行转码,注意观察各种字符的变化

使用quote方法,进行转码

我们看看转码得到的结果:

我们想要得到原先的url,可以使用quote的逆函数unquote

得到反转码以后的url,我们看到这种方法并没有返回中文字符。