Numpy是Python科学计算的基础包，它提供了很多功能：快速高效的多维数组对象ndarray、用于对数组执行元素级计算以及直接对数组执行数学运算的函数、用于读写硬盘上基于数组的数据集的工具、线性代数运算、傅里叶变换以及随机数生成等。NumPy在数据分析方面还有另外一个主要作用，即作为在算法和库之间传递数据的容器。
2、Pandas
Pandas提供了快速便捷处理结构化数据的大量数据结构和函数。自从2010年出现以来，它助使Python成为强大而高效的数据分析环境。其中用得最多的Pandas对象是DataFrame，它是一个面向列的二维表结构，另一个是Series，一个一维的标签化数组对象。Pandas兼具Numpy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能。还提供了复杂精细的索引功能，能更加便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作。
3、matplotlib
matplotlib是最流行的用于绘制图表和其他二维数据可视化的Python库。它最初由John
D.Hunter(JDH)创建，目前由一个庞大的开发团队维护。它非常适合创建出版物上用的图表。虽然还有其他的Python可视化库，但matplotlib应用最为广泛。
4、SciPy
SciPy是一组专门解决科学计算中各种标准问题域的包的集合，它与Numpy结合使用，便形成了一个相当完备和成熟的计算平台，可以处理多种传统的科学计算问题。
5、scikit-learn
2010年诞生以来，scikit-learn成为了Python通用机器学习工具包。它的子模块包括：分类、回归、聚类、降维、选型、预处理等。与pandas、statsmodels和IPython一起，scikit-learn对于Python成为高效数据科学编程语言起到了关键作用。
6、statsmodels
statsmodels是一个统计分析包，起源于斯坦福大学统计学教授，他设计了多种流行于R语言的回归分析模型。Skipper Seabold和Josef
Perktold在2010年正式创建了statsmodels项目，随后汇聚了大量的使用者和贡献者。与scikit-learn比较，statsmodels包含经典统计学和经济计量学的算法。
数据集成就是间来源于多个不同数据源的数据合并存放在一个一致的数据存储（比如数据仓库）中的过程。
不同数据源的数据之间可能会有不匹配或属性重复，所以要考虑实体识别问题和属性冗余问题。
是指从不同数据源识别出现实世界的实体，它的任务是统一不同源数据的矛盾之处。
常见形式有：同名异义，异名同义，单位不统一等。
实体识别问题就是检测和解决这些冲突。
数据冗余，比如：同一属性出现多次，同一属性命名不一致导致重复等。
冗余属性要先检测，再删除掉。冗余属性用相关性分析也能判断出来。
参考资料：
《Python数据分析和挖掘实战》张良均等
python数据挖掘对于初学者来说是非常难的。python数据挖掘（data mining，简称DM），是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。这是一个用数据说话的时代，也是一个依靠数据竞争的时代。目前世界500强企业中，有90%以上都建立了数据分析部门。IBM、微软、Google等知名公司都积极投资数据业务，建立数据部门，培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。学好之后，能力过硬，赚取大量薪资还是没有问题的，学习的时候一定贵在坚持。
想要了解更多有关python数据挖掘的信息，可以了解一下CDA数据分析师的课程。CDA是根据当今数据分析师岗位不同层级所要求的各项知识和技能而设定的一个科学化、专业化的学习体系。课程兼顾培养学员挖掘经营思维、算法思维、预测分析思维。点击预约免费试听课。
