Python上下文管理器

Python013

Python上下文管理器,第1张

代码执行过程中会进行频繁的I/O操作,而计算资源往往是有限的,需要进行资源管理,保证这些资源在使用过后得到释放,防止发生资源泄露。Python中使用上下文管理器(context manager)进行资源管理,比如我们经常用到的 with 关键字,上下文管理器可以进行自动分配并且释放资源。

下面先来介绍一下with关键字在文件读写中的应用,简单了解上下文管理器的功能。

在Python文件及目录处理方法中介绍了读写大文件建议使用with语句,with语句会进行资源的自动管理。文件很多的情况下也会导致资源泄露,下面来打开100000个文件,不进行文件关闭操作:

执行会报如下错误:

原因就是打开了太多文件而没有及时关闭导致了资源泄露,造成系统崩溃。完成处理后需要对文件进行关闭操作:

使用 with 语句可以完成自动分配并且释放资源,比上面的写法更加简洁:

可以使用类来创建上下文管理器,需要保证这个类包括两个方法: __enter__() 和 __exit__() 。其中,方法 __enter__() 返回需要被管理的资源,方法 __exit__() 进行资源释放、清理操作。

下面来模拟 Python 的打开、关闭文件操作:

执行结果:

可以看到执行顺序为:

__exit__() 方法中的参数 exc_type , exc_value , 和 exc_traceback 用于管理异常。

可以使用contextlib.contextmanager 装饰器而不使用类的方式来实现上下文管理器,它是基于生成器的上下文管理器,用以支持 with 语句。

仍以打开、关闭文件为例:

其中file_manager() 函数是一个生成器,yield 之前可以看成是 __enter__ 方法中的内容,yield 后面的是 __exit__() 内容。加上 @contextmanager 装饰器,使用基于生成器的上下文管理器时,不需要定义 __enter__() 和 __exit__() 方法。

上下文管理器可确保用过的资源得到迅速释放,通常和 with 语句一起使用,大大提高了程序的简洁度。另外需要注意的是,编写基于类或者生成器的上下文管理器时,记住不要忘记释放资源。

--THE END--

我们在处理文件的时候经常看到下面这样的代码,它即是上下文管理器:

它的含义是打开当前目录下的text.txt文件并打印它里面的内容,与下面的代码效果是一样的:

对比两种写法能够发现,使用 with自动执行了f.close()(关闭文件)的这步操作,能够少写一点代码。

那这样的上下文管理器是怎么实现的,下面为你讲解。

如果要实现上面 open上下文管理器功能,我们可以通过创建一个类,并添加__enter__和__exit__方法即可,如下面的代码所示:

可以看到在我们打印出文件的内容后,自动执行了关闭文件的操作。

那 __enter__和__exit__的含义是什么,__exit__后面的exc_type, exc_val, exc_tb又是什么意思呢?

1)_ enter _

2)_ exit _

__exit__是在with执行完成后自动执行的,他后面的参数含义如下:

当with中执行的代码报错时,除了不继续执行with包含的代码外,还会将报错信息放入上面的三个参数中,例如下面的代码:

Python内置了 contextlib这个模块用于实现上下文管理功能,它是通过生成器yield实现的,这个模块让我们不必再创建类和__enter__和__exit__了。

通过 contextlib实现open功能的代码如下:

正文

你有没有想过 with 语句是什么以及我们为什么使用它呢?请阅读这篇文章!我们中的许多人在 Python 代码中一遍又一遍地看到这个代码片段: with open( 'Hi.text' , 'w' ) as f:

f.write( "Hello, there" )

但是,我们中的一些人不知道 with 有什么用,以及为什么我们需要在这里使用它。在此阅读中,您将找到关于 with 可解决的几乎所有问题。让我们开始吧!

首先,让我们考虑一下如果不使用 with 关键字我们需要做什么。在这种情况下,我们需要先打开文件并 尝试 执行 write 。不管成功与否,我们最好在 最后 关闭它,所以我们的代码将如下所示:

f = open('Hi.text' , 'w' )

try :

f.write( 'Hello, there' )

finally :

f.close()

那么, with 关键字有什么用呢?它只是有助于将我们的 try..finally 代码缩短为 with... 的单个语句!这就是 with 语句用法。

那么,它到底是什么?事实上, with 语句本身在 Python 中并没有什么特别之处,它只是 Python 中 上下文管理器 的一个特性。 上下文管理器 ,引用自 Python 官方文档, 是一种让您在需要时准确分配和释放资源的方法 ,或者简单来说: 当您在某些资源上做某事时缩短您的代码片段 ,这意味着您可以自己定义 with 语句的用法!

我们如何做到这一点?嗯,很简单,你只需要实现两个 魔术函数 :一个叫做 __enter__ ,另一个叫做 __exit__ 。第一种方法是编写一个实现这两个函数的类,如下所示:

class My_file :

def __init__ (self, fname):

self.fname = fname

def __enter__ (self):

self.file = open(self.fname, 'w' )

return self.file

def __exit__ (self, exc_type, exc_val, exc_trace_back):

if self.file:

self.file.close()

在这里,我们创建了一个普通的 Python 类,实现了两个魔术函数。注意这两个函数的签名: __enter__ 只接受 self ,而 __exit__ 将接受更多参数,示例中的这三个是标准形式。这样,我们就可以直接使用:

with My_file( 'hello.txt' ) as f:

f.write( 'hello, world!' )

这里的 with 语句会先调用 __init__ 构造一个新对象,然后再调用 __enter__ 方法;最后,它会在代码块完成之前触发 __exit__ 方法。所以,上面代码的大致等价如下:

myfile = My_file('hello.txt' )

f = myfile.__enter__()

f.write( 'hello, world!' )

myfile.__exit(...)

实现 上下文管理器 的第二种方法是通过 装饰器 ,如下:

1.你 import contextmanager from contextlib

2.你写一个函数来实现你想要的 with 语句。

3.在函数上方添加一个装饰器 @contextmanager 。

4.使用你的 with your_function !

根据上面的介绍,让我们写一个 装饰器上下文管理器

from contextlib import contextmanager

@contextmanager

def my_file_open (fname):

try :

f = open(fname, 'w' )

yield f

finally :

print( 'Closing file' )

f.close()

with file_open( 'hi.txt' ) as f:

f.write( 'hello world' )

@contextmanager

def closing (f):

try :

f.write( "Finish writing" )

finally :

f.close()

with closing(open( "hi.text" )):

f.write( "hello world" )

例如,在上面的代码中,我们可以直接调用 with close(your_way_of_getting_resource) ,在你下面写的代码块即将完成之前( f.write("hello world") ),它会执行 try..finally 我们在上面定义的块。另一个是使用 suppress 工具。我们知道,在很多情况下,如果我们尝试获取一些资源,很可能在打开文件时会出现 FileNotFoundException 等错误。在某些情况下,我们希望捕获错误或抑制错误,以便程序继续正常运行。 suppress 是我们可以抑制警告的一种方式。你需要做的就是弄清楚你想要抑制哪个异常,并编写 with suppress(your_choice_of_exception) ,Python 将从这里开始处理它。在其他情况下,您可能只想在输入 with 代码块时执行某些操作。在这种情况下, nullcontext 对你来说会很方便。 nullcontext 只会返回你在 __enter__ 函数中定义的东西,而不会做任何其他事情。如果您在 Python 中处理 async 操作以访问资源,则 aclosure 是处理这种情况的实用工具。

总结

本文介绍了 with 语句的一些基本概念和用法及其底层工作原理。还有很多有趣的东西,请查看 Python 的 contextlib 文档。最后,祝您能像往常一样快乐学习和快乐编码!

链接:https://python.plainenglish.io/demystifying-the-with-keyword-in-python-53be94e8b31a

你还有什么想要补充的吗?