Python在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。

Python数据分析与挖掘技术概述

所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的潜在需求信息，从而对网站进行改善等。

数据分析与数据挖掘密不可分，数据挖掘是对数据分析的提升。数据挖掘技术可以帮助我们更好的发现事物之间的规律。所以我们可以利用数据挖掘技术可以帮助我们更好的发现事物之间的规律。比如发掘用户潜在需求，实现信息的个性化推送，发现疾病与病状甚至病与药物之间的规律等。

预先善其事必先利其器

我们首先聊聊数据分析的模块有哪些：

下面就说说这些模块的基础使用。

numpy模块安装与使用

安装：

下载地址是：http://www.lfd.uci.edu/~gohlke/pythonlibs/

我这里下载的包是1.11.3版本，地址是：http://www.lfd.uci.edu/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl

下载好后，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"

安装的numpy版本一定要是带mkl版本的，这样能够更好支持numpy

numpy简单使用

生成随机数

主要使用numpy下的random方法。

pandas

使用 pip install pandas 即可

直接上代码：

下面看看pandas输出的结果， 这一行的数字第几列，第一列的数字是行数，定位一个通过第一行，第几列来定位：

常用方法如下：

下面看看pandas对数据的统计，下面就说说每一行的信息

转置功能：把行数转换为列数，把列数转换为行数，如下所示：

通过pandas导入数据

pandas支持多种输入格式，我这里就简单罗列日常生活最常用的几种，对于更多的输入方式可以查看源码后者官网。

CSV文件

csv文件导入后显示输出的话，是按照csv文件默认的行输出的，有多少列就输出多少列，比如我有五列数据，那么它就在prinit输出结果的时候，就显示五列

excel表格

依赖于xlrd模块，请安装它。

老样子，原滋原味的输出显示excel本来的结果，只不过在每一行的开头加上了一个行数

读取SQL

依赖于PyMySQL，所以需要安装它。pandas把sql作为输入的时候，需要制定两个参数，第一个是sql语句，第二个是sql连接实例。

读取HTML

依赖于lxml模块，请安装它。

对于HTTPS的网页，依赖于BeautifulSoup4，html5lib模块。

读取HTML只会读取HTML里的表格，也就是只读取

显示的是时候是通过python的列表展示，同时添加了行与列的标识

读取txt文件

输出显示的时候同时添加了行与列的标识

scipy

安装方法是先下载whl格式文件，然后通过pip install “包名” 安装。whl包下载地址是：http://www.lfd.uci.edu/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl

matplotlib 数据可视化分析

我们安装这个模块直接使用pip install即可。不需要提前下载whl后通过 pip install安装。

下面请看代码：

下面说说修改图的样式

关于图形类型，有下面几种：

关于颜色，有下面几种：

关于形状，有下面几种：

我们还可以对图稍作修改，添加一些样式，下面修改圆点图为红色的点，代码如下：

我们还可以画虚线图，代码如下所示：

还可以给图添加上标题，x，y轴的标签,代码如下所示

直方图

利用直方图能够很好的显示每一段的数据。下面使用随机数做一个直方图。

Y轴为出现的次数，X轴为这个数的值（或者是范围）

还可以指定直方图类型通过histtype参数：

图形区别语言无法描述很详细，大家可以自信尝试。

举个例子：

子图功能

什么是子图功能呢？子图就是在一个大的画板里面能够显示多张小图，每个一小图为大画板的子图。

我们知道生成一个图是使用plot功能，子图就是subplog。代码操作如下：

我们现在可以通过一堆数据来绘图，根据图能够很容易的发现异常。下面我们就通过一个csv文件来实践下，这个csv文件是某个网站的文章阅读数与评论数。

先说说这个csv的文件结构，第一列是序号，第二列是每篇文章的URL，第三列每篇文章的阅读数，第四列是每篇评论数。

我们的需求就是把评论数作为Y轴，阅读数作为X轴，所以我们需要获取第三列和第四列的数据。我们知道获取数据的方法是通过pandas的values方法来获取某一行的值，在对这一行的值做切片处理，获取下标为3（阅读数）和4（评论数）的值，但是，这里只是一行的值，我们需要是这个csv文件下的所有评论数和阅读数，那怎么办？聪明的你会说，我自定义2个列表，我遍历下这个csv文件，把阅读数和评论数分别添加到对应的列表里，这不就行了嘛。呵呵，其实有一个更快捷的方法，那么就是使用T转置方法，这样再通过values方法，就能直接获取这一评论数和阅读数了，此时在交给你matplotlib里的pylab方法来作图，那么就OK了。了解思路后，那么就写吧。

下面看看代码：

一、python如何运行程序

首先说一下python解释器，它是一种让其他程序运行起来的程序。当你编写了一段python程序，python解释器将读取程序，并按照其中的命令执行，得出结果，实际上，解释器是代码与机器的计算机硬件之间的软件逻辑层。

通俗来说，我们的计算机是基于二进制进行运算的，无论你用什么语言来写程序，无论你的程序写的多么简单或多么复杂，最终交给计算机运行的一定是 0或1，因为计算机只能识别0和1。

我们目前使用的大多数编程语言都是高级程序语言，也就是利于我们人类阅读的语言，要使我们编写的程序能够在计算机上跑起来，要经过一定的转换才可以，python程序大致的过程应该是这样：

源代码-->字节码-->pvm(虚拟机)-->机器码

可以到Python的官方网站下载python（http://www.python.org），通常包括解释器、库文件及简单的编码环境（IDLE）。把源代码编译成字节码其实是为了程序更节省时间，如果源代码没有变动，那么运行程序时会直接从字节码读取，加快速度，把字节码放到虚拟机去解释，可以更好的跨平台运行，最后转换成机器码。

二、Windows系统下搭建python编程环境。

1、进入Python官网http://www.python.org，在“Downloads”下拉菜单中选择相应的操作系统，我们选择windows。

2、这里有32位和64位版本，要和自己的电脑系统相对应。

3、安装刚才已经下载下来的安装包， 安装过程下图所示，使用默认配置，选择“Install Now”,勾选下面的Add Python3.5 to PATH，然后就是一直next，直到完成。

三、认识编程环境

1、在开始运行处运行命令cmd，进行dos模式，输入python，即可进行python的交互式环境。

2、进行到IDLE界面

3、交互式界面可以用于简单的学习，编写较大程序时应到具体的python文件中，python文件默认的后缀为.py，我们可以新建文本文件，然后把后缀扩展名改为.py，然后

最后选择菜单中的Run下的run module即可运行，快捷键为F5。

编写python源代码的软件.首推的Pycharm。

PyCharm用于bai一般IDE具备的功能，比如， 调试、语法高亮、Project管理、du代码跳转、智能提示、自动完zhi成、单元测试、版本控制

另外，PyCharm还提供了一些很好的功能用于Django开发，同时支持Google App Engine，更酷的是，PyCharm支持IronPython。

其次是sublime text，Sublime Text 支持多种编程语言的语法高亮、拥有优秀的代码自动完成功能，还拥有代码片段(Snippet）的功能，可以将常用的代码片段保存起来，在需要时随时调用。支持 VIM 模式，可以使用Vim模式下的多数命令。支持宏，简单地说就是把操作录制下来或者自己编写命令，然后播放刚才录制的操作或者命令。

还有Jupyter, Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本，支持运行 40 多种编程语言。

最后就是最基本的nopad++，最开始的时候是实用这款作为开发工具进行基础练习。

---