收集整理了Python处理大量数据的方法，基于Pandas，Numpy等数据处理工具。
用df的 info 方法并指定 memory_usage='deep' 参数，或使用df的 memory_usage 方法，并指定 deep=True 参数。
在读取数据文件的方法中加入 nrows 参数选择前n行数据读取。
也可以跳过m行之后，读取从m行开始的n行
当然也可以在 skiprows 选项中指定范围，保留headers，即保留列名
可以指定 skiprows 中需要忽略的行，用list或array导入即可。下面是随机
如果在这个指令中忽略 nrows=10 指令，则读取跳过100行之后的所有数据。
预先指定读入的列，缩小加载范围
不同的数据类型占用了不同大小的空间，对于尚未读取的数据，可以提前指定类型( dtype )；对于已经读入的数据，通过 astype 方法修改成占空间更小的数据类型。
在读入数据之前，通过字典指定每列对应的数据类型，读入之后按照此类型显示数据。
通过改变数据类型减少空间的案例。修改DataFrame d 中的一列 Sctcd ，注意到该列的数据都是1、2、0，而保存类型是object，果断改成 uint8 ，通过 df.info(memory_usage='deep') 方法对比内存的使用情况。仅仅修改了一个列的类型，数据大小减小3MB。
一个特殊而高效的案例是当某一列的值只有有限个，不管是int还是string格式，且该列unque值远小于列的长度，可以将该列转变为 category 类，将节省大量空间。这么做当然也有代价，比如转换成 category 类的数据将无法做max/min等运算，由数字转换成的 category 也不能进行数值运算。这种转换对内存的节省效果显著，下面是对比。 dcol 只有两列， Stkcd 和 Stknme ，查看unique的个数与总长度，显示unique远小于总长度，分别转换为 category 类型，内存节省超过90%！
通过Pandas的 read_csv 方法中的 chunksize 选项指定读取的块大小，并迭代地对读取的块做运算。
1 https冒号//www点dataquest点io/blog/pandas-big-data/
2 CSDN - python 处理大量数据_如何用python处理大量数据
2 How to Work with BIG Datasets on 16G RAM (+Dask), on kaggle
在 pandas 中，存储文本主要有两种方式
但一般建议使用 StringDtype 类型存储文本数据。都是由于各种原因，现在字符串数据的默认存储类型还是 object 。
要存储为 string 类型，需要显式的设置 dtype 参数
或者在创建 Series 或 DataFrame 之后，使用 astype 转换类型
也可以使用 StringDtype/"string" 转换其他非字符串类型的数据
转换现有数据的类型
StringDtype 类型对象与 object 类型之间存在一些差异
两个结果的输出都是 Int64 类型。将其与 object 类型比较
当存在 NA 值时，输出为 float64 。类似地，对于返回布尔值的方法
Series 和 Index 有一套字符串处理方法，可以方便地对数组的每个元素进行操作，最重要的是，这些方法会自动忽略缺失值。
这些方法可以通过 str 属性访问，通常具有与内置字符串方法相匹配的名称
Index 上的字符串方法对于清理或转换 DataFrame 的列特别有用。
例如，您可能有带有前导或后置空格的列
因为 df.columns 是一个 Index 对象，所以我们可以使用 .str 访问器
我们可以根据需要对列名进行处理，然后重新设置列名。
例如，我们删除列名的前后空格，并将其改为小写字母，同时用 _ 替换剩余的空格
split 方法会返回一个值为 list 的 Series
可以使用 get 或 [] 访问拆分后的列表中的元素
更简单的方法是设置 expand 参数，返回一个 DataFrame
当原来的 Series 包含 StringDtype 类型的数据时，输出列也将全部为 StringDtype
当然，也可以设置切割次数
它还有个对应的 rsplit 方法，从右边起始对字符串进行拆分
replace 参数支持使用正则表达式，前两个参数是 pat (匹配模式) 和 repl (替换字符串)
如果只是想要替换字符串字面值，可以将 regex 参数设置为 False ，而不需要对每个特殊字符进行转义。此时 pat 和 repl 参数必须是字符串
此外， replace 方法还接受一个可调用的替换函数，会使用 re.sub() 方法在每个匹配的模式上调用该函数
该函数需要传入一个正则对象作为位置参数，并返回一个字符串。例如
replace 方法的 pat 参数还接受 re.compile() 编译的正则表达式对象。所有的 flags 需要在编译正则对象时设置
如果在 replace 中设置 flags 参数，则会抛出异常
有几种方法可以将一个 Series 或 Index 与自己或其他的 Series 或 Index 相连接，所有这些方法都是基于 cat() 方法
可以连接一个 Series 或 Index 的内容
如果未指定 sep 参数，则默认为空字符串
默认会跳过缺失值，也可以使用 na_rep 指定缺失值的表示方式
cat() 的第一个参数 others 可以是类似列表的对象，但是其长度需要和调用对象一致
只要两个对象中存在缺失值，对应的结果中也是缺失值，除非指定了 na_rep
others 参数也可以是二维的，但是得保证其行数必须与调用的对象一致
对于 Series 或 DataFrame 的连接，可以通过设置 join 参数指定对齐方式
通常 join 可选范围为： 'left' , 'outer' , 'inner' , 'right' 。此时，不再要求两个对象长度一致
当 others 参数是 DataFrame 时，也可以使用
可以将一些类似数组的对象（如 Series ， Index 等）放在一个类似列表的容器中，然后传递给 cat
对于没有索引的对象，其长度必须与调用 cat 的对象相同。但是 Series 和 Index 可以是任意的，除非设置了 json=None 。
如果在 others 参数上包含不同索引的对象，且设置了 join='right' ，则最后的结果将会是这些索引的并集
