Python在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。
Python数据分析与挖掘技术概述
所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的潜在需求信息，从而对网站进行改善等。
数据分析与数据挖掘密不可分，数据挖掘是对数据分析的提升。数据挖掘技术可以帮助我们更好的发现事物之间的规律。所以我们可以利用数据挖掘技术可以帮助我们更好的发现事物之间的规律。比如发掘用户潜在需求，实现信息的个性化推送，发现疾病与病状甚至病与药物之间的规律等。
预先善其事必先利其器
我们首先聊聊数据分析的模块有哪些：
下面就说说这些模块的基础使用。
numpy模块安装与使用
安装：
下载地址是：http://www.lfd.uci.edu/~gohlke/pythonlibs/
我这里下载的包是1.11.3版本，地址是：http://www.lfd.uci.edu/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl
下载好后，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"
安装的numpy版本一定要是带mkl版本的，这样能够更好支持numpy
numpy简单使用
生成随机数
主要使用numpy下的random方法。
pandas
使用 pip install pandas 即可
直接上代码：
下面看看pandas输出的结果， 这一行的数字第几列，第一列的数字是行数，定位一个通过第一行，第几列来定位：
常用方法如下：
下面看看pandas对数据的统计，下面就说说每一行的信息
转置功能：把行数转换为列数，把列数转换为行数，如下所示：
通过pandas导入数据
pandas支持多种输入格式，我这里就简单罗列日常生活最常用的几种，对于更多的输入方式可以查看源码后者官网。
CSV文件
csv文件导入后显示输出的话，是按照csv文件默认的行输出的，有多少列就输出多少列，比如我有五列数据，那么它就在prinit输出结果的时候，就显示五列
excel表格
依赖于xlrd模块，请安装它。
老样子，原滋原味的输出显示excel本来的结果，只不过在每一行的开头加上了一个行数
读取SQL
依赖于PyMySQL，所以需要安装它。pandas把sql作为输入的时候，需要制定两个参数，第一个是sql语句，第二个是sql连接实例。
读取HTML
依赖于lxml模块，请安装它。
对于HTTPS的网页，依赖于BeautifulSoup4，html5lib模块。
读取HTML只会读取HTML里的表格，也就是只读取
显示的是时候是通过python的列表展示，同时添加了行与列的标识
读取txt文件
输出显示的时候同时添加了行与列的标识
scipy
安装方法是先下载whl格式文件，然后通过pip install “包名” 安装。whl包下载地址是：http://www.lfd.uci.edu/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl
matplotlib 数据可视化分析
我们安装这个模块直接使用pip install即可。不需要提前下载whl后通过 pip install安装。
下面请看代码：
下面说说修改图的样式
关于图形类型，有下面几种：
关于颜色，有下面几种：
关于形状，有下面几种：
我们还可以对图稍作修改，添加一些样式，下面修改圆点图为红色的点，代码如下：
我们还可以画虚线图，代码如下所示：
还可以给图添加上标题，x，y轴的标签,代码如下所示
直方图
利用直方图能够很好的显示每一段的数据。下面使用随机数做一个直方图。
Y轴为出现的次数，X轴为这个数的值（或者是范围）
还可以指定直方图类型通过histtype参数：
图形区别语言无法描述很详细，大家可以自信尝试。
举个例子：
子图功能
什么是子图功能呢？子图就是在一个大的画板里面能够显示多张小图，每个一小图为大画板的子图。
我们知道生成一个图是使用plot功能，子图就是subplog。代码操作如下：
我们现在可以通过一堆数据来绘图，根据图能够很容易的发现异常。下面我们就通过一个csv文件来实践下，这个csv文件是某个网站的文章阅读数与评论数。
先说说这个csv的文件结构，第一列是序号，第二列是每篇文章的URL，第三列每篇文章的阅读数，第四列是每篇评论数。
我们的需求就是把评论数作为Y轴，阅读数作为X轴，所以我们需要获取第三列和第四列的数据。我们知道获取数据的方法是通过pandas的values方法来获取某一行的值，在对这一行的值做切片处理，获取下标为3（阅读数）和4（评论数）的值，但是，这里只是一行的值，我们需要是这个csv文件下的所有评论数和阅读数，那怎么办？聪明的你会说，我自定义2个列表，我遍历下这个csv文件，把阅读数和评论数分别添加到对应的列表里，这不就行了嘛。呵呵，其实有一个更快捷的方法，那么就是使用T转置方法，这样再通过values方法，就能直接获取这一评论数和阅读数了，此时在交给你matplotlib里的pylab方法来作图，那么就OK了。了解思路后，那么就写吧。
下面看看代码：
Python是一种跨平台的计算机程序设计语言。 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。1、人工智能：Python是人工智能的首选语言，选择人工智能作为就业方向是理所当然的。
2、大数据：Python在大数据上比java更加具有效率，大数据虽然难学，但是Python可以更好的和大数据进行对接，尤其是大数据分析这个方向。
3、网络爬虫：爬虫是进行数据采集的利器，利用Python可以更快的提升对数据抓取的精准程度和速度。
4、全栈工程师：全栈工程师是指掌握多种技能，并能利用多种技能独立完成产品的人，也叫全端工程师
5、自动化运维：运维工作者对Python的需求也很大
6、自动化测试：Python十分高效，目前做自动化测试的大部分的工作者都需要学习Python帮助提高测试效率。用Python测试也可以说是测试人员必备的工具了。
什么是大数据?无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。为什么说Python大数据？
大数据涉及数据挖掘以及数据处理，而Python是数据最佳注解，这就是Python和大数据的联系。
数据挖掘无疑是很多公司或者个人的首选，毕竟大部分公司都没有生产数据的能力，所以只能依靠数据挖掘。而网络爬虫是Python传统强势领域，拥有爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具beautifulsoup、XML解析器lxml等。
Python由于能够很好地支持协程操作，基于此发展起来很多并发库，比如说Gevent、Eventlet等框架，有了对高并发的支持，网络爬虫才是真正达到大数据规模。
数据处理，有了数据之后我们还需要进行处理，才可以找到适合自己的数据。在数据处理方面，Python也是数据科学家最喜欢的语言之一，这是因为Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直接应用，更加省事。
也正因为种种原因，让Python语言成为很多公司处理大数据的首选。
![在js编程中出现 this.items= [ ]; 怎么在语法上解释呢？](/aiimages/%E5%9C%A8js%E7%BC%96%E7%A8%8B%E4%B8%AD%E5%87%BA%E7%8E%B0+this.items%3D+%5B+%5D%3B+%E6%80%8E%E4%B9%88%E5%9C%A8%E8%AF%AD%E6%B3%95%E4%B8%8A%E8%A7%A3%E9%87%8A%E5%91%A2%EF%BC%9F.png)
