python写算法不好

Python09

python写算法不好,第1张

基于以下三个原因,我们选择Python作为实现机器学习算法的编程语言:(1) python的语法清晰;(2) 易于操作纯文本文件;(3) 使用广泛,存在大量的开发文档。

可执行伪代码

Python具有清晰的语法结构,大家也把它称作可执行伪代码(executable pseudo-code)。默认安装的Python开发环境已经附带了很多高级数据类型,如列表、元组、字典、集合、队列等,无需进一步编程就可以使用这些数据类型的操作。使用这些数据类型使得实现抽象的数学概念非常简单。此外,读者还可以使用自己熟悉的编程风格,如面向对象编程、面向过程编程、或者函数式编程。

Python语言处理和操作文本文件非常简单,非常易于处理非数值型数据。Python语言提供了丰富的正则表达式函数以及很多访问Web页面的函数库,使得从HTML中提取数据变得非常简单直观。

Python比较流行

Python语言使用广泛,代码范例也很多,便于读者快速学习和掌握。此外,在开发实际应用程序时,也可以利用丰富的模块库缩短开发周期。

在科学和金融领域,Python语言得到了广泛应用。SciPy和NumPy等许多科学函数库都实现了向量和矩阵操作,这些函数库增加了代码的可读性,学过线性代数的人都可以看懂代码的实际功能。另外,科学函数库SciPy和NumPy使用底层语言(C和Fortran)编写,提高了相关应用程序的计算性能。本书将大量使用Python的NumPy。

Python的科学工具可以与绘图工具Matplotlib协同工作。Matplotlib可以绘制2D、3D图形,也可以处理科学研究中经常使用到的图形,所以本书也将大量使用Matplotlib。

Python开发环境还提供了交互式shell环境,允许用户开发程序时查看和检测程序内容。

Python开发环境将来还会集成Pylab模块,它将NumPy、SciPy和Matplotlib合并为一个开发环境。在本书写作时,Pylab还没有并入Python环境,但是不远的将来我们肯定可以在Python开发环境找到它。

Python语言的特色

诸如MATLAB和Mathematica等高级程序语言也允许用户执行矩阵操作,MATLAB甚至还有许多内嵌的特征可以轻松地构造机器学习应用,而且MATLAB的运算速度也很快。然而MATLAB的不足之处是软件费用太高,单个软件授权就要花费数千美元。虽然也有适合MATLAB的第三方插件,但是没有一个有影响力的大型开源项目。

Java和C等强类型程序设计语言也有矩阵数学库,然而对于这些程序设计语言来说,最大的问题是即使完成简单的操作也要编写大量的代码。程序员首先需要定义变量的类型,对于Java来说,每次封装属性时还需要实现getter和setter方法。另外还要记着实现子类,即使并不想使用子类,也必须实现子类方法。为了完成一个简单的工作,我们必须花费大量时间编写了很多无用冗长的代码。Python语言则与Java和C完全不同,它清晰简练,而且易于理解,即使不是编程人员也能够理解程序的含义,而Java和C对于非编程人员则像天书一样难于理解。

所有人在小学二年级已经学会了写作,然而大多数人必须从事其他更重要的工作。

——鲍比·奈特

也许某一天,我们可以在这句话中将“写作”替代为“编写代码”,虽然有些人对于编写代码很感兴趣,但是对于大多数人来说,编程仅是完成其他任务的工具而已。Python语言是高级编程语言,我们可以花费更多的时间处理数据的内在含义,而无须花费太多精力解决计算机如何得到数据结果。Python语言使得我们很容易表达自己的目的。

Python语言的缺点

Python语言唯一的不足是性能问题。Python程序运行的效率不如Java或者C代码高,但是我们可以使用Python调用C编译的代码。这样,我们就可以同时利用C和Python的优点,逐步地开发机器学习应用程序。我们可以首先使用Python编写实验程序,如果进一步想要在产品中实现机器学习,转换成C代码也不困难。如果程序是按照模块化原则组织的,我们可以先构造可运行的Python程序,然后再逐步使用C代码替换核心代码以改进程序的性能。C++ Boost库就适合完成这个任务,其他类似于Cython和PyPy的工具也可以编写强类型的Python代码,改进一般Python程序的性能。

如果程序的算法或者思想有缺陷,则无论程序的性能如何,都无法得到正确的结果。如果解决问题的思想存在问题,那么单纯通过提高程序的运行效率,扩展用户规模都无法解决这个核心问题。从这个角度来看,Python快速实现系统的优势就更加明显了,我们可以快速地检验算法或者思想是否正确,如果需要,再进一步优化代码。

前言

Python 一直以来被大家所诟病的一点就是执行速度慢,但不可否认的是 Python 依然是我们学习和工作中的一大利器。本文总结了15个tips有助于提升 Python 执行速度、优化性能。

关于 Python 如何精确地测量程序的执行时间,这个问题看起来简单其实很复杂,因为程序的执行时间受到很多因素的影响,例如操作系统、Python 版本以及相关硬件(CPU 性能、内存读写速度)等。在同一台电脑上运行相同版本的语言时,上述因素就是确定的了,但是程序的睡眠时间依然是变化的,且电脑上正在运行的其他程序也会对实验有干扰,因此严格来说这就是实验不可重复。

我了解到的关于计时比较有代表性的两个库就是 time 和 timeit 。

其中, time 库中有 time() 、 perf_counter() 以及 process_time() 三个函数可用来计时(以秒为单位),加后缀 _ns 表示以纳秒计时(自 Python3.7 始)。在此之前还有 clock() 函数,但是在 Python3.3 之后被移除了。上述三者的区别如下:

与 time 库相比, timeit 有两个优点:

timeit.timeit(stmt='pass', setup='pass', timer= , number=1000000, globals=None)参数说明:

本文所有的计时均采用 timeit 方法,且采用默认的执行次数一百万次。

为什么要执行一百万次呢?因为我们的测试程序很短,如果不执行这么多次的话,根本看不出差距。

Exp1:将字符串数组中的小写字母转为大写字母。

测试数组为 oldlist = ['life', 'is', 'short', 'i', 'choose', 'python']。

方法一

方法二

方法一耗时 0.5267724000000005s ,方法二耗时 0.41462569999999843s ,性能提升 21.29%

Exp2:求两个 list 的交集。

测试数组:a = [1,2,3,4,5],b = [2,4,6,8,10]。

方法一

方法二

方法一耗时 0.9507264000000006s ,方法二耗时 0.6148200999999993s ,性能提升 35.33%

关于 set() 的语法: | 、 & 、 - 分别表示求并集、交集、差集。

我们可以通过多种方式对序列进行排序,但其实自己编写排序算法的方法有些得不偿失。因为内置的 sort() 或 sorted() 方法已经足够优秀了,且利用参数 key 可以实现不同的功能,非常灵活。二者的区别是 sort() 方法仅被定义在 list 中,而 sorted() 是全局方法对所有的可迭代序列都有效。

Exp3:分别使用快排和 sort() 方法对同一列表排序。

测试数组:lists = [2,1,4,3,0]。

方法一

方法二

方法一耗时 2.4796975000000003s ,方法二耗时 0.05551999999999424s ,性能提升 97.76%

顺带一提, sorted() 方法耗时 0.1339823999987857s

可以看出, sort() 作为 list 专属的排序方法还是很强的, sorted() 虽然比前者慢一点,但是胜在它“不挑食”,它对所有的可迭代序列都有效。

扩展 :如何定义 sort() 或 sorted() 方法的 key

1.通过 lambda 定义

2.通过 operator 定义

operator 的 itemgetter() 适用于普通数组排序, attrgetter() 适用于对象数组排序

3.通过 cmp_to_key() 定义,最为灵活

Exp4:统计字符串中每个字符出现的次数。

测试数组:sentence='life is short, i choose python'。

方法一

方法二

方法一耗时 2.8105250000000055s ,方法二耗时 1.6317423000000062s ,性能提升 41.94%

列表推导(list comprehension)短小精悍。在小代码片段中,可能没有太大的区别。但是在大型开发中,它可以节省一些时间。

Exp5:对列表中的奇数求平方,偶数不变。

测试数组:oldlist = range(10)。

方法一

方法二

方法一耗时 1.5342976000000021s ,方法二耗时 1.4181957999999923s ,性能提升 7.57%

大多数人都习惯使用 + 来连接字符串。但其实,这种方法非常低效。因为, + 操作在每一步中都会创建一个新字符串并复制旧字符串。更好的方法是用 join() 来连接字符串。关于字符串的其他操作,也尽量使用内置函数,如 isalpha() 、 isdigit() 、 startswith() 、 endswith() 等。

Exp6:将字符串列表中的元素连接起来。

测试数组:oldlist = ['life', 'is', 'short', 'i', 'choose', 'python']。

方法一

方法二

方法一耗时 0.27489080000000854s ,方法二耗时 0.08166570000000206s ,性能提升 70.29%

join 还有一个非常舒服的点,就是它可以指定连接的分隔符,举个例子

life//is//short//i//choose//python

Exp6:交换x,y的值。

测试数据:x, y = 100, 200。

方法一

方法二

方法一耗时 0.027853900000010867s ,方法二耗时 0.02398730000000171s ,性能提升 13.88%

在不知道确切的循环次数时,常规方法是使用 while True 进行无限循环,在代码块中判断是否满足循环终止条件。虽然这样做没有任何问题,但 while 1 的执行速度比 while True 更快。因为它是一种数值转换,可以更快地生成输出。

Exp8:分别用 while 1 和 while True 循环 100 次。

方法一

方法二

方法一耗时 3.679268300000004s ,方法二耗时 3.607847499999991s ,性能提升 1.94%

将文件存储在高速缓存中有助于快速恢复功能。Python 支持装饰器缓存,该缓存在内存中维护特定类型的缓存,以实现最佳软件驱动速度。我们使用 lru_cache 装饰器来为斐波那契函数提供缓存功能,在使用 fibonacci 递归函数时,存在大量的重复计算,例如 fibonacci(1) 、 fibonacci(2) 就运行了很多次。而在使用了 lru_cache 后,所有的重复计算只会执行一次,从而大大提高程序的执行效率。

Exp9:求斐波那契数列。

测试数据:fibonacci(7)。

方法一

方法二

方法一耗时 3.955014900000009s ,方法二耗时 0.05077979999998661s ,性能提升 98.72%

注意事项:

我被执行了(执行了两次 demo(1, 2) ,却只输出一次)

functools.lru_cache(maxsize=128, typed=False) 的两个可选参数:

点运算符( . )用来访问对象的属性或方法,这会引起程序使用 __getattribute__() 和 __getattr__() 进行字典查找,从而带来不必要的开销。尤其注意,在循环当中,更要减少点运算符的使用,应该将它移到循环外处理。

这启发我们应该尽量使用 from ... import ... 这种方式来导包,而不是在需要使用某方法时通过点运算符来获取。其实不光是点运算符,其他很多不必要的运算我们都尽量移到循环外处理。

Exp10:将字符串数组中的小写字母转为大写字母。

测试数组为 oldlist = ['life', 'is', 'short', 'i', 'choose', 'python']。

方法一

方法二

方法一耗时 0.7235491999999795s ,方法二耗时 0.5475435999999831s ,性能提升 24.33%

当我们知道具体要循环多少次时,使用 for 循环比使用 while 循环更好。

Exp12:使用 for 和 while 分别循环 100 次。

方法一

方法二

方法一耗时 3.894683299999997s ,方法二耗时 1.0198077999999953s ,性能提升 73.82%

Numba 可以将 Python 函数编译码为机器码执行,大大提高代码执行速度,甚至可以接近 C 或 FORTRAN 的速度。它能和 Numpy 配合使用,在 for 循环中或存在大量计算时能显著地提高执行效率。

Exp12:求从 1 加到 100 的和。

方法一

方法二

方法一耗时 3.7199997000000167s ,方法二耗时 0.23769430000001535s ,性能提升 93.61%

矢量化是 NumPy 中的一种强大功能,可以将操作表达为在整个数组上而不是在各个元素上发生。这种用数组表达式替换显式循环的做法通常称为矢量化。

在 Python 中循环数组或任何数据结构时,会涉及很多开销。NumPy 中的向量化操作将内部循环委托给高度优化的 C 和 Fortran 函数,从而使 Python 代码更加快速。

Exp13:两个长度相同的序列逐元素相乘。

测试数组:a = [1,2,3,4,5], b = [2,4,6,8,10]

方法一

方法二

方法一耗时 0.6706845000000214s ,方法二耗时 0.3070132000000001s ,性能提升 54.22%

若要检查列表中是否包含某成员,通常使用 in 关键字更快。

Exp14:检查列表中是否包含某成员。

测试数组:lists = ['life', 'is', 'short', 'i', 'choose', 'python']

方法一

方法二

方法一耗时 0.16038449999999216s ,方法二耗时 0.04139250000000061s ,性能提升 74.19%

itertools 是用来操作迭代器的一个模块,其函数主要可以分为三类:无限迭代器、有限迭代器、组合迭代器。

Exp15:返回列表的全排列。

测试数组:["Alice", "Bob", "Carol"]

方法一

方法二

方法一耗时 3.867292899999484s ,方法二耗时 0.3875405000007959s ,性能提升 89.98%

根据上面的测试数据,我绘制了下面这张实验结果图,可以更加直观的看出不同方法带来的性能差异。

从图中可以看出,大部分的技巧所带来的性能增幅还是比较可观的,但也有少部分技巧的增幅较小(例如编号5、7、8,其中,第 8 条的两种方法几乎没有差异)。

总结下来,我觉得其实就是下面这两条原则:

内置库函数由专业的开发人员编写并经过了多次测试,很多库函数的底层是用 C 语言开发的。因此,这些函数总体来说是非常高效的(比如 sort() 、 join() 等),自己编写的方法很难超越它们,还不如省省功夫,不要重复造轮子了,何况你造的轮子可能更差。所以,如果函数库中已经存在该函数,就直接拿来用。

有很多优秀的第三方库,它们的底层可能是用 C 和 Fortran 来实现的,像这样的库用起来绝对不会吃亏,比如前文提到的 Numpy 和 Numba,它们带来的提升都是非常惊人的。类似这样的库还有很多,比如Cython、PyPy等,这里我只是抛砖引玉。

原文链接:https://www.jb51.net/article/238190.htm

如果是计算密集型的应用,纯Python的性能比C,Java什么的要差。

一般的Web应用有大量的网络IO,磁盘IO,只有少量的逻辑判断和计算,这种时候Python的性能劣势不明显。

Python需要提高计算性能的时候,可以通过C扩展,Cython,或者Pypy的途径。

开发效率还是很重要的,这么『慢』的一门语言,在科学计算和数据分析领域能成为主要工具语言,是有道理的。

所谓一个语言的性能,也就是计算能力咯,由于python先天残疾,究其根本就是不支持多进程,你个单核CPU,python和c,java之流并没有很大的区别,多核那就不同了,python只能用其中一个,是假的多进程;但是c和java等就是真正的多进程。