Jaeger链路追踪python应用

Python016

Jaeger链路追踪python应用,第1张

作为一个 开源 项目,一个由数百个贡献者组成的社区不断改进完善着 Jaeger。Jaeger 基于与供应商无关的 OpenTracing API 和工具。

共享出行公司 Uber 在 2015 年开发了开源项目 Jaeger 。2017 年,Jaeger 纳入云原生计算基金会(CNCF)的孵化项目,2019 年,Jaeger 正式毕业。

Jaeger 将执行请求显示为一条条迹线(trace)。迹线代表系统中的数据/执行路径。

一个迹线包含一个或多个跨度(span)。跨度是 Jaeger 中作业的逻辑单元。每个跨度都由作业名称、开始时间和持续时间组成。跨度可以进行嵌套和排序。

Jaeger 内含多个组件,这些组件可以协同工作,一起收集、存储和可视化跨度与迹线。

Jaeger 客户端包括含用于分布式跟踪的 OpenTracing API 的特定语言实施。您可以手动使用这些实施,也可以将其与各种开源框架一起使用。

Jaeger 代理是一个网络守护进程,可侦听通过用户数据报协议发送的跨度。该代理应与所检测的应用放置在同一主机上。这通常是通过 Kubernetes 等容器环境中的 sidecar 实现的。

Jaeger 收集器可接收跨度并将它们放在队列中等待处理。

收集器需要持久的存储后端,因此 Jaeger 还具有可插拔的跨度存储机制。

查询是一项从存储中检索迹线的服务。

Jaeger 控制台是用于直观查看分布式跟踪数据的用户界面。

Span: 跟踪的最小逻辑单位,包括操作名,操作开始时间,和操作耗时。Span间可以是嵌套关系

Trace: 一个Trace是由多个Span组成的有向无环图,代表一次完整的跟踪

https://www.jianshu.com/p/2f5d5638b8b0

1、服务内同步调用链路

2、服务内异步调用链路

使用参数注入的方式,修改入参值tracer_across_threads_scope_context将span信息传递到函数内

3、服务内其他服务跨到本服务调用链路

使用python的socket模块,在建立socket时选择RAW模式:

s = socket(AF_PACKET, SOCK_RAW)

此时,s.send()函数的输入值应包含目的MAC地址,源MAC地址,协议类型,负载。

python能够应用并行计算的模块有多个multiprocessing、pathos等。其中multiprocessing模块应用的较多,但对于数据挖掘场景来说,pathos模块更实用,尤其允许输入多个可变参数非常简单实用。

本文总结整理了常见的并行计算场景,编写parallel.py模块,主要利用pathos模块实现,可以实现单变量并行、多变量并行、并行嵌套等功能。通过tdqm模块增加了进度条,可以显示计算进度等信息,通过functools模块中的partial函数将静态参数冻结,以适应并行框架。

parallel.py

函数parallel的参数定义顺序需要注意: 必选参数--任意位置参数--默认参数--任意关键字参数

定义另一个parallel_main.py模块,用来展示各个场景下并行计算结果。

parallel_main.py

parallel函数使用注意点: