python:5种正态性检验方法

Python018

python:5种正态性检验方法,第1张

1.直方图

由于正态分布具有非常典型的中间高，两边低的图形特征，如果样本数据并不服从正态分布，我们可以通过直方图很快地分辨出来。更进一步地，Python可以辅助生成基于样本数据估计的正态曲线，这样就容易辅助我们进行判断。

图形观察虽然直观，但是部分研究者认为单纯观察图形过于主观，因此我们也可以选择使用统计检验的方法去研究数据是否服从正态分布。

操作步骤：

导入相关的包及数据

2 P-P图及Q-Q图

直方图是最长用于观察数据分布的常用图形选项，尤其是带正态曲线的直方图，可以非常直观地看到实际数据分布和正态曲线的对比，而P-P图及Q-Q图则是另一种选择，它可以直观给出实际数据分布和理论的差距。

值得注意的是，虽然P-P图及Q-Q图常用用于判断数据样本是否服从正态分布，但实际上它们也能判断数据样本是否服从其他的分布

P-P图:反映的是数据的实际累积概率与假定所服从分布的理论累积概率的符合程度。在此处，我们所假定的分布就是正态分布，如果数据样本是服从正态分布的话，那么实际的累积概率与理论的累积概率应该是相对一致的，放映在图形中就是数据点应该沿着图形的对角线分布。

Q-Q图的原理与P-P图几乎一致。P-P图考察的是实际分布与理论分布的累积概率分布差异，而Q-Q图考察的是实际百分位数与理论百分位数的差异。同理在此处，我们所假定的分布就是正态分布，如果数据样本是服从正态分布的话，那么实际的分布应该是相对一致的，反映在图形中就是数据点应该沿着图形的对角线分布。

在Python中，statsmodels包中目前主要提供的是Q-Q图的绘制

柯尔莫戈洛夫-斯米诺夫检验（Kolmogorov-Smirnov test），一般又称K-S检验，是一种基于累计分布函数的非参数检验，用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同。

K-S检验的原假设是“样本数据来自的分布与正态分布无显著差异”，因此一般来说，KS检验最终返回两个结果，分别是检验统计量及P值,检验结果P>0.05才是我们的目标。

实际上，GraphPad不推荐使用单纯的Kolmogorov-Smirnov test方法

夏皮洛-威尔克检验（Shapiro—Wilk test），一般又称W检验。W检验是一种类似于利用秩进行相关性检验的方法。同样需要注意的是，W检验与K-S检验一样，原假设是“样本数据来自的分布与正态分布无显著差异”，因此一般来说，W检验最终返回两个结果，分别是检验统计量及P值。,检验结果P>0.05才是我们的目标。

当数据集中的数据无重复值时，该方法的检验效果比较好，但是当数据集中有些数据不是独一无二的，即有些数据的数值是相同的，那么该方法的检验效果就不是很好

GraphPad官方推荐使用该方法。

首先计算 偏度和峰度以便在不对称和形状方面量化分布离高斯分布的距离。然后，其计算这些值中的每一个与高斯分布的预期值之间的差异，并基于这些差异的总和，计算各P值。这是一种通用和强大的正态性检验，推荐使用。请注意，D'Agostino开发了几种正态性检验。Prism使用的其中一个是“综合K2”检验。

安德森-达令检验样本数据是否来自特定分布，包括分布：'norm', 'expon', 'gumbel', 'extreme1' or 'logistic'.

原假设 H0：样本服从特定分布； 备择假设 H1：样本不服从特定分布

实际上，从已有的文献表明，对于数据分布的正态性研究，首选方法是图形观察，即利用直方图、P-P图或Q-Q图进行观察，如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断，则再进行正态性检验。

实际上，从已有的文献表明，对于数据分布的正态性研究，首选方法是图形观察，即利用直方图、P-P图或Q-Q图进行观察，如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断，则再进行正态性检验。

其次，对于检验方法来说，对于K-S检验及W检验结果来说，有文献采用蒙特卡罗模拟方法进行多次验证，结果表明W检验结果相比于大部分方法都有较大的检验功效，而K-S方法的检验结果相对不佳。并且部分学者认为，K-S检验的实用性远不如图形工具，因为在样本量少时，该检验不太敏感，但是在样本量大时，该检验却过于敏感。因此正常情况下，我们更常采用W检验的结果。

值得注意的是，虽然说K-S检验结果相对不佳，但是不同检验方法对于样本量的敏感度是不一样的。在样本量较小的情况下（小于50个样本的情况下），请优先选择W检验；在样本量50-5000的情况下，可以酌情使用W检验及K—S检验；在样本量大于5000的情况下，请使用K-S检验结果，尤其是在SPSS中，当样本量大于5000的情况下，将只显示K-S检验结果，而不显示W检验结果。

一般的正态分布可以通过标准正态分布配合数学期望向量和协方差矩阵得到。如下代码，可以得到满足一维和二维正态分布的样本。希望有用，如有错误，欢迎指正！

# coding=utf-8

import numpy as np

from numpy.linalg import cholesky

import matplotlib.pyplot as plt

sampleNo = 1000

# 一维正态分布

# 下面三种方式是等效的

mu = 3

sigma = 0.1

np.random.seed(0)

s = np.random.normal(mu, sigma, sampleNo )

plt.subplot(141)

plt.hist(s, 30, normed=True)

np.random.seed(0)

s = sigma * np.random.randn(sampleNo ) + mu

plt.subplot(142)

plt.hist(s, 30, normed=True)

np.random.seed(0)

s = sigma * np.random.standard_normal(sampleNo ) + mu

plt.subplot(143)

plt.hist(s, 30, normed=True)

# 二维正态分布

mu = np.array([[1, 5]])

Sigma = np.array([[1, 0.5], [1.5, 3]])

R = cholesky(Sigma)

s = np.dot(np.random.randn(sampleNo, 2), R) + mu

plt.subplot(144)

# 注意绘制的是散点图，而不是直方图

plt.plot(s[:,0],s[:,1],'+')

plt.show()

正太分布哈哈

首先，如果想要你的一千万个数据严格服从正态分布，那么先确定这个分布的数据，也就是均值和方差，N(u,o)，这里均值 u=50，方差 o 由你确定，根据正态分布概率密度函数，对于每一个 1~100 之间的整数 x，都可以确定它出现的概率 f(x)：

正态分布概率密度函数

而共有 10 000 000 个数字，那么 10000000*f(x) 就是 x 出现的频率。

因此，使用一个 101 元素的数组 freq[] 存放这些数出现的频率，用 f(x)*10000000 逐个计算数组元素，也就是 x 应该出现的次数，假如说 2 一共会出现 3 次，那么 freq[2]=3，计算出之后放在那里，作为一个参照。再初始化一个全为 0 的 100 个元素的数组 sam[]，记录每个数字已经出现的次数。之后开始从 1~100 随机，每随机一个数字 x 都给 sam[x] 加1，再和 freq[x] 比较，如果超出了 freq[x] 就说明这个数字已经不能再出现了，将其舍弃。记录随机成功的次数，达到了 10000000 次即可。