2、type(),dtype(),astype()的区别。
用numpy读入数据,默认的dtype是‘float64’,要转变numpy中数据的类型,不能直接改变原数据的dtype,只能用astype()。
float类型包括‘float64’,‘float32’和‘float16’,默认为'float64'。
int 类型包括‘int64’,‘int32’,‘int16’和‘int8’,默认为‘int64’。
第一个办法,降低数据集的大小。python处理数据,如果数据结构中的数据超过2GB,通常都会很慢。如何降低数据集大小,需要修改算法。第二个办法,将数据结构采用数组array或者是numarray存贮。这样内存数量与查找效率都会提高。尽量不要使用大的dict。使用一个省内存的blist代替list
第三个办法,将数据通过共享内存,让C++扩展模块来处理。
常用的是第二种办法。就是换个数据结构就可以提高效率。