如果能够注意这些内容，处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按mapreduce的思路。数据尽量在本地处理。所以算法上要优化。主要是分段。
不管怎么说。这几个方面所有的语言都是相同的。即使你用的是C语言也一样要考虑到这些。大数据因为量大，算法也需要改进。
对于不能改进的算法（好象还没有遇到）也只好用python接C的扩展模块了。 好在python与C有很好的接口。轻松就接上。
最近比较流行的方法是使用cython，一方面可以略略提高速度，另一方面与C有无缝的接口。
java在处理大数据方面速度与易用性略略占优势。C++也经常会使用在核心算法上。语言本身都不是问题。大部分时候大数据还是在处理算法本身而不是语言。
在原型阶段python很方便，快速，灵活。所以大数据处理中python是几种语言中最适合的。特别是早期探索阶段。业务与算法经常变更。到了后期基本上都是C++了。java比较适合工程化阶段。
python可以处理大数据，python处理大数据不一定是最优的选择。适合大数据处理。而不是大数据量处理。 如果大数据量处理，需要采用并用结构，比如在hadoop上使用python，或者是自己做的分布式处理框架。
python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。
Python处理数据的优势（不是处理大数据）：
1. 异常快捷的开发速度，代码量巨少
2. 丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便
3. 内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）
4. 公司中，很大量的数据处理工作工作是不需要面对非常大的数据的
5. 巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python。
扩展资料：
Python处理数据缺点：
Python处理大数据的劣势：
1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict）。
多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦
2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy。
3. 绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多。
参考资料来源：百度百科-Python
