Python爬虫（七）数据处理方法之JSON

Python013

Python爬虫（七）数据处理方法之JSON,第1张

JSON 指的是 JavaScript 对象表示法（JavaScript Object Notation），是轻量级的文本数据交换格式，且具有自我描述性，更易理解。

JSON看起来像python类型（列表，字典）的字符串。

在之前的文章中，我们说到了怎么用response的方法，获取到网页正确解码后的字符串。如果还有不懂的，可以先阅读 Python爬虫（三）Requests库 。接下来以有道翻译为例子，说说怎么通过网页解码后的字符串，提取到翻译结果。

再结合上述有道翻译的例子，得到字典类型的返回结果，并提取出来翻译结果。

将上述例子的dict_json换成str字符串，再写入文本中。

执行完上述的程序，会得到一个fanyi.txt的文件，其结果如下：{"type": "ZH_CN2EN", "errorCode": 0, "elapsedTime": 1, "translateResult": [[{"src": "\u4eba\u751f\u82e6\u77ed\uff0c\u6211\u7528python", "tgt": "Life is too short, I use python"}]]}。这样子的一份文档，中文部分显示的是二进制，且格式非常不利于阅读，这并不是我们想要的结果。好在json.dumps()为我们提供的两个方法，以帮助我们更好阅读文档。

1.ensure_ascii，能够让中文显示成中文；

2.indent，能够让下一行在第一行的基础上空格。

其用法如下：

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯(包括C、C++、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成(一般用于提升网络传输速率)。

JSON在python中分别由list和dict组成。

这是用于序列化的两个模块：

json: 用于字符串和python数据类型间进行转换

pickle： 用于python特有的类型和python的数据类型间进行转换

Json模块提供了四个功能：dumps、dump、loads、load

pickle模块提供了四个功能：dumps、dump、loads、load

json dumps把数据类型转换成字符串 dump把数据类型转换成字符串并存储在文件中  loads把字符串转换成数据类型  load把文件打开从字符串转换成数据类型

json是可以在不同语言之间交换数据的，而pickle只在python之间使用。json只能序列化最基本的数据类型，josn只能把常用的数据类型序列化（列表、字典、列表、字符串、数字、），比如日期格式、类对象！josn就不行了。而pickle可以序列化所有的数据类型，包括类，函数都可以序列化。

事例：

dumps：将python中的 字典 转换为 字符串

1 import json2 3 test_dict = {'bigberg': [7600, {1: [['iPhone', 6300], ['Bike', 800], ['shirt', 300]]}]}4 print(test_dict)5 print(type(test_dict))6 #dumps 将数据转换成字符串7 json_str = json.dumps(test_dict)8 print(json_str)9 print(type(json_str))

loads: 将 字符串 转换为 字典

1 new_dict = json.loads(json_str)2 print(new_dict)3 print(type(new_dict))

dump: 将数据写入json文件中

1 with open("../config/record.json","w") as f:2     json.dump(new_dict,f)3     print("加载入文件完成...")

load:把文件打开，并把字符串变换为数据类型

1 with open("../config/record.json",'r') as load_f:2     load_dict = json.load(load_f)3     print(load_dict)4 load_dict['smallberg'] = [8200,{1:[['Python',81],['shirt',300]]}]5 print(load_dict)6 7 with open("../config/record.json","w") as dump_f:8     json.dump(load_dict,dump_f)

1、首先需要在桌面新建‘json.txt’文件，内容为jsonline格式。

2、打开Python开发工具IDLE,新建‘json.py’文件，并按照如图所示书写代码。

3、F5运行程序，Shell打印出json文本信息。

4、这是一次性读取所有内容，如果文件很大的情况，出于性能考虑要分批读取内容，这样要用到yield生成器，改写lines()函数如下，注意yield一定要写在with里，这样才能每次从上一次读取的位置继续读取。

5、继续写程序入口函数，这里要注意readlines返回的是一个列表，要读取里面的内容，要再做一个循环来遍历。

6、F5运行程序，Shell打印出json文本信息，这个利用生成器方式读取的方式经常处理较大的文件。