Python数据验证库(一) validators

Python010

Python数据验证库(一) validators,第1张

很多时候我们的程序会接收来自外部的数据,但是我们不能确保接收的数据是我们期待的数据,这时可能需要对数据进行一些验证。比如,在做接口测试时,我们发送http请求,会受到服务器的应答信息,这时需要对接收的数据进行检查,判断是否符合预期。

这里介绍一个简单的数据验证库 validators ,后续还会介绍其他的数据验证库。

python有很多数据验证工具,但是其他的数据验证工具都需要自己定义模式。validators是一个简单的数据验证库,当验证一个简单的值时,不需要定义一个表单或模式。

目前 validators 支持python版本2.7, 3.3, 3.4, 3.5 和PyPy

在validators中每一个validator是一个简单的函数,函数参数为要验证的值,一些函数可能有额外的关键字参数。对于每一个函数,如果验证成功,则返回 True ;若验证失败,则返回一个 ValidationFailure 对象。

验证一个数字 value 是否在最小值 min 和最大值 max 之间, value 不仅仅可以是整数,也可以是其它数据类型,例如floats, decimals 和 dates.

Parameters:

• min – The minimum required value of the number. If not provided, minimum value will not be checked.

• max – The maximum value of the number. If not provided, maximum value will not be checked.

验证 value 是否是一个有效域。如果 value 是一个有效域名,函数返回 True , 否则返回 ValidationFailure .

也支持国际化域名(IDN domain),例如:

验证是否是合法的邮件地址,如果是,函数返回 True , 否则返回 ValidationFailure .

验证是否是合法的国际银行账户号码,如果是,函数返回 True , 否则返回 ValidationFailure .

验证是否是合法的ipv4地址,如果是,函数返回 True , 否则返回 ValidationFailure .

验证是否是合法的ipv6地址,如果是,函数返回 True , 否则返回 ValidationFailure .

验证给定的字符串长度是否在指定范围内。

验证是否是合法的mac地址,如果是,函数返回 True , 否则返回 ValidationFailure .

验证是否是合法的slug,如果是,函数返回 True , 否则返回 ValidationFailure .

验证是否是合法的url,如果是,函数返回 True , 否则返回 ValidationFailure .

Parameters:

• value – 要验证的url

• public – (default=False) Set True to only allow a public IP address

验证Finnish Business ID.

验证Finnish Social Security Number.

class validators.utils.ValidationFailure(func, args)

validators.utils.validator(func, *args, **kwargs)

例:

控制台输出结果:

下一篇:Python数据验证库(二)validator

http://www.jianshu.com/p/eee56214af9c

是。python验证服务端采用免费的网络记事本,客户端爬取相应的字符串实现验证的目的,是为平衡面板数据。数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材。

1.直方图

由于正态分布具有非常典型的中间高,两边低的图形特征,如果样本数据并不服从正态分布,我们可以通过直方图很快地分辨出来。更进一步地,Python可以辅助生成基于样本数据估计的正态曲线,这样就容易辅助我们进行判断。

图形观察虽然直观,但是部分研究者认为单纯观察图形过于主观,因此我们也可以选择使用统计检验的方法去研究数据是否服从正态分布。

操作步骤:

导入相关的包及数据

2 P-P图及Q-Q图

直方图是最长用于观察数据分布的常用图形选项,尤其是带正态曲线的直方图,可以非常直观地看到实际数据分布和正态曲线的对比,而P-P图及Q-Q图则是另一种选择,它可以直观给出实际数据分布和理论的差距。

值得注意的是,虽然P-P图及Q-Q图常用用于判断数据样本是否服从正态分布,但实际上它们也能判断数据样本是否服从其他的分布

P-P图:反映的是数据的实际累积概率与假定所服从分布的理论累积概率的符合程度。在此处,我们所假定的分布就是正态分布,如果数据样本是服从正态分布的话,那么实际的累积概率与理论的累积概率应该是相对一致的,放映在图形中就是数据点应该沿着图形的对角线分布。

Q-Q图的原理与P-P图几乎一致。P-P图考察的是实际分布与理论分布的累积概率分布差异,而Q-Q图考察的是实际百分位数与理论百分位数的差异。同理在此处,我们所假定的分布就是正态分布,如果数据样本是服从正态分布的话,那么实际的分布应该是相对一致的,反映在图形中就是数据点应该沿着图形的对角线分布。

在Python中,statsmodels包中目前主要提供的是Q-Q图的绘制

柯尔莫戈洛夫-斯米诺夫检验(Kolmogorov-Smirnov test),一般又称K-S检验,是一种基于累计分布函数的非参数检验,用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同。

K-S检验的原假设是“样本数据来自的分布与正态分布无显著差异”,因此一般来说,KS检验最终返回两个结果,分别是检验统计量及P值,检验结果P>0.05才是我们的目标。

实际上,GraphPad不推荐使用单纯的Kolmogorov-Smirnov test方法

夏皮洛-威尔克检验(Shapiro—Wilk test),一般又称W检验。W检验是一种类似于利用秩进行相关性检验的方法。同样需要注意的是,W检验与K-S检验一样,原假设是“样本数据来自的分布与正态分布无显著差异”,因此一般来说,W检验最终返回两个结果,分别是检验统计量及P值。,检验结果P>0.05才是我们的目标。

当数据集中的数据无重复值时,该方法的检验效果比较好,但是当数据集中有些数据不是独一无二的,即有些数据的数值是相同的,那么该方法的检验效果就不是很好

GraphPad官方推荐使用该方法。

首先计算 偏度和峰度以便在不对称和形状方面量化分布离高斯分布的距离。然后,其计算这些值中的每一个与高斯分布的预期值之间的差异,并基于这些差异的总和,计算各P值。这是一种通用和强大的正态性检验,推荐使用。请注意,D'Agostino开发了几种正态性检验。Prism使用的其中一个是“综合K2”检验。

安德森-达令检验样本数据是否来自特定分布,包括分布:'norm', 'expon', 'gumbel', 'extreme1' or 'logistic'.

原假设 H0:样本服从特定分布; 备择假设 H1:样本不服从特定分布

实际上,从已有的文献表明,对于数据分布的正态性研究,首选方法是图形观察,即利用直方图、P-P图或Q-Q图进行观察,如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断,则再进行正态性检验。

实际上,从已有的文献表明,对于数据分布的正态性研究,首选方法是图形观察,即利用直方图、P-P图或Q-Q图进行观察,如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断,则再进行正态性检验。

其次,对于检验方法来说,对于K-S检验及W检验结果来说,有文献采用蒙特卡罗模拟方法进行多次验证,结果表明W检验结果相比于大部分方法都有较大的检验功效,而K-S方法的检验结果相对不佳。并且部分学者认为,K-S检验的实用性远不如图形工具,因为在样本量少时,该检验不太敏感,但是在样本量大时,该检验却过于敏感。因此正常情况下,我们更常采用W检验的结果。

值得注意的是,虽然说K-S检验结果相对不佳,但是不同检验方法对于样本量的敏感度是不一样的。在样本量较小的情况下(小于50个样本的情况下),请优先选择W检验;在样本量50-5000的情况下,可以酌情使用W检验及K—S检验;在样本量大于5000的情况下,请使用K-S检验结果,尤其是在SPSS中,当样本量大于5000的情况下,将只显示K-S检验结果,而不显示W检验结果。