收集整理了Python处理大量数据的方法，基于Pandas，Numpy等数据处理工具。
用df的 info 方法并指定 memory_usage='deep' 参数，或使用df的 memory_usage 方法，并指定 deep=True 参数。
在读取数据文件的方法中加入 nrows 参数选择前n行数据读取。
也可以跳过m行之后，读取从m行开始的n行
当然也可以在 skiprows 选项中指定范围，保留headers，即保留列名
可以指定 skiprows 中需要忽略的行，用list或array导入即可。下面是随机
如果在这个指令中忽略 nrows=10 指令，则读取跳过100行之后的所有数据。
预先指定读入的列，缩小加载范围
不同的数据类型占用了不同大小的空间，对于尚未读取的数据，可以提前指定类型( dtype )；对于已经读入的数据，通过 astype 方法修改成占空间更小的数据类型。
在读入数据之前，通过字典指定每列对应的数据类型，读入之后按照此类型显示数据。
通过改变数据类型减少空间的案例。修改DataFrame d 中的一列 Sctcd ，注意到该列的数据都是1、2、0，而保存类型是object，果断改成 uint8 ，通过 df.info(memory_usage='deep') 方法对比内存的使用情况。仅仅修改了一个列的类型，数据大小减小3MB。
一个特殊而高效的案例是当某一列的值只有有限个，不管是int还是string格式，且该列unque值远小于列的长度，可以将该列转变为 category 类，将节省大量空间。这么做当然也有代价，比如转换成 category 类的数据将无法做max/min等运算，由数字转换成的 category 也不能进行数值运算。这种转换对内存的节省效果显著，下面是对比。 dcol 只有两列， Stkcd 和 Stknme ，查看unique的个数与总长度，显示unique远小于总长度，分别转换为 category 类型，内存节省超过90%！
通过Pandas的 read_csv 方法中的 chunksize 选项指定读取的块大小，并迭代地对读取的块做运算。
1 https冒号//www点dataquest点io/blog/pandas-big-data/
2 CSDN - python 处理大量数据_如何用python处理大量数据
2 How to Work with BIG Datasets on 16G RAM (+Dask), on kaggle
CSV 表示 “Comma-Separated Values （逗号分隔的值） ” ， CSV 文件是简化的电子表格，实际为纯文本文件。
一个 CSV 文件，格式是这样的：
因为 CSV 文件中的每个单元格都是以逗号分割，所以也许有人会对每行文本调用 split() 方法，来解析 CSV 文件。但 CSV 文件也有自己的转义字符，通过转义字符，允许逗号和其他字符作为值的一部分，但单纯使用 split() 方法不能处理这些转义字符。因为这些潜在的缺陷，所以建议总是使用 csv 模块来读写 CSV 文件。
csv 模块是 Python 自带的，所以可以直接导入。
要使用 csv 模块从 CSV 文件中读取数据，我们需要创建一个 Reader 对象。 通过 Reader 对象，我们可以迭代遍历 CSV 文件中的每一行内容。
运行结果：
要用 csv 模块读取 CSV 文件，首先先使用 open() 函数打开它 ，就像打开任何其他文本文件一样。然后将它传递给 csv .reader() 函数。 这个函数将返回一个 Reader 对象。注意，csv .reader() 函数不接受文件名作为入参。
要访问 Reader 对象中的值，最直接的方法，就是利用 list() 将它转换成一个普通 Python 列表。它实际为一个包含列表的列表，用于表示二维数据。
我们还可以使用表达式 data [ row ][ col ] 来访问 CSV 中特定行和列的值。其中， row 是 data 中一个列表的下标， col 是该列表中，我们想访问的项的下标：
运行结果：
运行结果：
Writer 对象可以让我们把数据写入 CSV 文件。
运行结果：
在 Windows 上，需要为 open() 函数的 newline 关键字参数传入一个空字符串。如果没有设置 newline 参数， output.csv 中的行距将变为两倍，如下图所示。
如果写入的内容包含逗号，那么 csv 模块会自动加上双引号，对其进行转义，如下例所示。
运行结果：
我们也可以利用 delimiter ，来制作 TSV 文件，TSV 是Tab-separated values的缩写，即以制表符作为分隔符的文件；利用 lineterminator 参数来设定行距。
运行结果：
这里利用 lineterminator='\n\n\n' 将行与行之间的字符变为三个换行符，效果就是实现了 3 倍行距。
使用pip install openpyxl即可，但是在windows下安装的是2.2.6版本，但是centos自动安装的是4.1版本。
from xlwt import Workbook, Formula
import xlrd
book = Workbook()
sheet1 = book.add_sheet('Sheet 1')
sheet1.write(0,0,10)
sheet1.write(1,0,Formula('A1/B1'))
sheet2 = book.add_sheet('Sheet 2')
row = sheet2.row(0)
row.write(2,Formula("$A$1+$B$1*SUM('ShEEt 1'!$A$1:$b$2)"))
book = xlrd.open_workbook('formula.xls')
sheet = book.sheets()[0]
for i in range(nrows):
print (sheet.cell(i,j).value)
Python
是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言，Python对函数式设计只提供了有限的支持。有两个标准库(functools, itertools)提供了Haskell和Standard ML中久经考验的函数式程序设计工具。
