7种检测Python程序运行时间、CPU和内存占用的方法

Python011

7种检测Python程序运行时间、CPU和内存占用的方法,第1张

1. 使用装饰器来衡量函数执行时间

有一个简单方法，那就是定义一个装饰器来测量函数的执行时间，并输出结果：

import time

from functoolsimport wraps

import random

def fn_timer(function):

  @wraps(function)

  def function_timer(*args, **kwargs):

      t0= time.time()

      result= function(*args, **kwargs)

      t1= time.time()

      print("Total time running %s: %s seconds" %

          (function.__name__, str(t1- t0))

)

      return result

return function_timer

@fn_timer

def random_sort(n):

  return sorted([random.random() for i in range(n)])

if __name__== "__main__":

  random_sort(2000000)

输出：Total time running random_sort: 0.6598007678985596 seconds

使用方式的话，就是在要监控的函数定义上面加上 @fn_timer 就行了

或者

# 可监控程序运行时间

import time

import random

def clock(func):

    def wrapper(*args, **kwargs):

        start_time= time.time()

        result= func(*args, **kwargs)

        end_time= time.time()

        print("共耗时: %s秒" % round(end_time- start_time, 5))

        return result

return wrapper

@clock

def random_sort(n):

  return sorted([random.random() for i in range(n)])

if __name__== "__main__":

  random_sort(2000000)

输出结果：共耗时: 0.65634秒

2. 使用timeit模块

另一种方法是使用timeit模块，用来计算平均时间消耗。

执行下面的脚本可以运行该模块。

这里的timing_functions是Python脚本文件名称。

在输出的末尾，可以看到以下结果：4 loops, best of 5: 2.08 sec per loop

这表示测试了4次，平均每次测试重复5次，最好的测试结果是2.08秒。

如果不指定测试或重复次数，默认值为10次测试，每次重复5次。

3. 使用Unix系统中的time命令

然而，装饰器和timeit都是基于Python的。在外部环境测试Python时，unix time实用工具就非常有用。

运行time实用工具：

输出结果为：

Total time running random_sort: 1.3931210041 seconds

real 1.49

user 1.40

sys 0.08

第一行来自预定义的装饰器，其他三行为：

    real表示的是执行脚本的总时间

    user表示的是执行脚本消耗的CPU时间。

    sys表示的是执行内核函数消耗的时间。

注意：根据维基百科的定义，内核是一个计算机程序，用来管理软件的输入输出，并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。

因此，Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。

4. 使用cProfile模块

5. 使用line_profiler模块

6. 使用memory_profiler模块

7. 使用guppy包

PYTHON多进程CPU利用率高,PYTHON多进程反而慢

Python · 2022年7月14日 · 338 次浏览

导读

很多时候，当我们需要使用Python来处理大量的数据的时候，为了缩短处理的时间，我们会使用多线程或多进程来并行处理任务。

由于Python全局解释器锁的存在，导致在执行多线程的时候实际上只有一个线程在运行，这使得多核CPU无法发挥它真正的效率。而多进程就可以很好地解决这个问题。如果你打开多进程的姿势不对，会导致它比单进程更慢，下面我们就来看看如何正确地打开多进程。

实验环境

系统：Ubuntu16.04

Python：3.7

示例

这个示例是基于Python对图片做一个预处理

图片预处理

读取图片将图片转换为bytes数组

采用for循环处理批量图片

这里我们直接通过循环调用图片的预处理函数，其实也就是单进程。处理了1349张图片，一共花了将近10s。这里我为了方便就没有采用多次调用来取平均值了，如果大家想要计算得更加准确，可以采用取平均值。

采用进程池多进程处理图片

使用4个进程居然花了将近13s，按道理来说这不科学呀？4个进程的处理速度应该要快于单个进程，现在看来居然还更慢。也就是说，我们花了更多的硬件资源，居然还花费了更多的时间。这是为什么呢？

接下来看看，我们使用Queue来改进使用多进程对图片进行预处理

惊讶地发现，当我们将进程池改为根据进程的个数来分发任务时，居然速度要快将近一倍左右。

特别注意：这里其实使用多线程来处理会比多进程的速度更快，而且消耗的资源也要少点。举这个例子只是为了说明，影响多进程速度的原因。

影响进程速度的原因

进程池速度慢可能有下面几个原因：

CPU资源不足，开启更多的进程只会导致速度更慢

进程之间通信传输的数据量大

使用了Lock处理共享的数据

进程使用了大量的os.fork()

在上面的例子中，其实影响多进程速度的主要原因是因为调用preprocess函数每次都会返回一个image array占用的内存比较大，如果你将返回值由image array改为一个字符串你会发现最终它们的速度会差不多。

那为什么使用Queue的速度会比进程池快那么多呢？这里主要也是因为进程池在保存数据与Queue的差异导致的。

虽然说，我们在使用进程池的时候采用的也是异步调用的方式。但是，进程池在接受返回结果的时候使用了self.wait(timeout)，而进程池最终返回结果的顺序也和调用的时候保持一致。而Queue在保存数据的时候，会通过后台的线程来写数据，所以它最终保存的结果是乱序的，相对来说它的速度会更快点。

其实我个人认为，如果说你的程序不怎么占用CPU的话可能就是你的程序太简单了。没有足够的运算来占用CPU

编程问题

我个人觉得是不是你把编程问题给弄错啦，就是说你没有把优先级给设高，然后绑定CPU。

可以说就是说你没有用足够的运算来占用CPU，或者说你用的是I/O。因为程序大部分时间都在用，等待I/O上。要么就是你用的多现行程序，但是每个县城都有很多的运算。所以说同一时间只能有一个现行运行。那么就绝对占用不到CPU。

如果说你的这个程序写对了，按理说应该c++是占用了百分之百的CPU，所以说我个人在想你是不是编程有问题。

代码运行

其实基本上在计算机密集型的任务。一般情况下都需要大量的计算这个都是绝对消耗CPU资源的，如果说这个密集型任务可以用多任务完成的话，但是任务越多，在切换的时间上越多，所以说CPU执行的效率就越低，感觉占用CPU资源就没有那么高。所以说代码运行效率也是至关重要的。用这样的一个脚本语言运行效率基本上很低也不太适合计算密集型任务。你如果说做的是一个多线程的程序。就基本上很难占满CPU的资源，如果说是多进程的话效率又不高，你这样话就一直在等待。

总结

我个人觉得是不是因为你的这个整个的程序有问题，其实最简单的就是用c++来写，或者说是学习好其中两种编程语言，然后接着进行互相打通。

这样的话你可能就会觉得没有这么奇怪，我个人觉得是不是你没有把整个编程给做对做好，所以说有了这么一个奇怪的现象。毕竟编程这件事情真的不是闹着玩的这个东西真的很困难。需要多学多看多做你现在有这样的问题很正常，多学多看多做就好了。