在 python 项目中如何记录日志

Python020

在 python 项目中如何记录日志,第1张

写本文的目的是我在写 python 项目的时候需要记录日志,我忘记怎么处理了,每次都需要去网上查一遍, 好记性不如烂笔头 , 这里把查阅的内容记录下来,方便以后查找。

python 项目中记录日志,可以使用 logging 模块,logging 模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。logging 模块是Python的一个标准库模块,由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能。所以,你的应用日志可以将你自己的日志信息与来自第三方模块的信息整合起来。

在 __init__.py 文件中做如下配置:

控制台输出日志如下:

参考文档

https://www.cnblogs.com/yyds/p/6901864.html

上篇文章 对logging做了基本介绍,我们可以使用logging来做日志的简单记录。但实际项目应用时,我们一般会根据自身需要对其做二次封装(loggingV2),然后在其他python文件中, 先import申明后直接调用。

废话不多说,下面给几个二次封装的简单示例

示例一:

loggingV2.py - 封装

logMain.py - 应用

示例二:

    对上述示例进行 模块化封装 ,如下log.py

则任何声明了log模块的python文件都可以调用logging日志系统,如下logMain.py

示例三:

    对上述示例进行 定制化封装 ,如下myLog.py

    需求:

    1)同时实现终端显示与日志文件保存

    2)日志文件名除日期外,增加显示时间,精确到秒

    3)日志输出级别可配置

    4)日志保存路径与文件名可配置

    5)日志跨天(或者小时/分钟),另生成新文件保存

改写logMain.py,如下:

示例四:

    对上述示例进行 异步线程封装 ,如下myThreadLog.py

    需求:

        1)独立线程处理日志,不影响主程序性能

        2)使用队列异步处理日志记录

 继续改写logMain.py,如下:

    注意 - 线程相关操作函数(如下):

        1.threading.Thread() — 创建线程并初始化线程,可以为线程传递参数

        2.threading.enumerate() — 返回一个包含正在运行的线程的list

        3.threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果

        4.Thread.start() — 启动线程

        5.Thread.join() — 阻塞函数,一直等到线程结束

        6.Thread.isAlive() — 返回线程活动状态

        7.Thread.setName() — 设置线程名

        8.Thread.getName() — 获取线程名

        9.Thread.setDaemon() — 设置为后台线程,这里默认是False,设置为True之后则主线程不会再等待子线程结束才结束,而是主线程结束意味程序退出,子线程也立即结束,注意调用时必须设置在start()之前;

        10.除了以上常用函数,线程还经常与互斥锁Lock/事件Event/信号量Condition/队列Queue等函数配合使用

在以往我们使用日志,更多的是使用 python 自带的 logging 模块,它可以设置错误等级、输出方式等。

但使用方式相对比较复杂,想要更好的使用需要如 log4net 一样单独配置,这在 python 中感觉不是很优雅。

下面介绍一个 python 库: loguru 。 guru 是印度语中大师的意思, loguru 直译就是“日志大师”。

如图 logging 一样, loguru 也有定义日志等级。不同的日志等级,输出效果也不一样(默认的等级由低到高是 DEBUG 、 INFO 、 WARNING 、 ERROR 、 CRITICAL ,也可以自己使用 level 函数定义)。

类似 logging 中的 logger.addHandler ,loguru统一使用 add 函数来管理格式、文件输出、过滤等操作,它提供了许多参数来实现 logger.addHandler 中的配置更加简单方便。

其中 sink 是最重要的参数,可以传入不同的数据类型。传入文件路径、文件句柄、 sys.stderr 、甚至 logging 模块的 Handler 如 FileHandler 、 StreamHandler 等,这样就可以快速实现自定义的 Handler 配置。

通过给 remove 方法传递 add 方法返回的对象, 可以删除 add 方法添加的 sink ,这里的 remove 并不是删除 test2.log 文件,而是停止向该文件输出日志,需要需要继续记录日志则需要重新 add 日志文件。

用 rotation 、 retention 、 compression 进行日志窗口、更新、压缩管理。

支持控制台输出添加颜色, 除了基础色, loguru 甚至允许16进制、RGB格式的颜色值和加粗、下划线等样式。

使用装饰器 @logger.catch 可以和 logging 一样使用 logger.exception 函数来记录异常信息。

使用 exception 方法输出的异常信息包含堆栈信息和当前变量的值,方便问题定位。

使用 serialize 可以将日志转换为 JSON 格式, enqueue 可以保证多线程、多进程安全。

修改时间格式。