深入剖析：一套在 Go 中传递、返回、暴露错误，便于回查的解决方案

2023-02-24 00:42:01Python026

深入剖析：一套在 Go 中传递、返回、暴露错误，便于回查的解决方案,第1张

作者：andruzhang，腾讯 IEG 后台开发工程师

在后台开发中，针对错误处理，有三个维度的问题需要解决：

一个面向过程的函数，在不同的处理过程中需要 handle 不同的错误信息；一个面向对象的函数，针对一个操作所返回的不同类型的错误，有可能需要进行不同的处理。此外，在遇到错误时，也可以使用断言的方式，快速中止函数流程，大大提高代码的可读性。

在许多高级语言中都提供了 try ... catch 的语法，函数内部可以通过这种方案，实现一个统一的错误处理逻辑。而即便是 C 这种 “中级语言” 虽然没有，但是程序员也可以使用宏定义的方式，来实现某种程度上的错误断言。

但是，对于 Go 的情况就比较尴尬了。

我们先来看断言，我们的目的是，仅使用一行代码就能够检查错误并终止当前函数。由于没有 throw，没有宏，如果要实现一行断言，有两种方法。

第一种是把 if 的错误判断写在一行内，比如：

第二种方法是借用 panic 函数，结合 recover 来实现:

这两种方法都值得商榷。

首先，将 if 写在同一行内的问题有：

至于第二种方法，我们要分情况看；

不过使用 panic 来断言的方案，虽然在业务逻辑中基本上不用，但在测试场景下则是非常常见的。测试嘛，用牛刀有何不可？稍微大一点的系统开销也没啥问题。对于 Go 来说，非常热门的单元测试框架 goconvey 就是使用 panic 机制来实现单元测试中的断言，用的人都说好。

综上，在 Go 中，对于业务代码，笔者不建议采用断言，遇到错误的时候建议还是老老实实采用这种格式：

而在单测代码中，则完全可以大大方方地采用类似于 goconvey 之类基于 panic 机制的断言。

众所周知 Go 是没有 try ... catch 的，而且从官方的态度来看，短时间内也没有考虑的计划。但程序员有这个需求呀。笔者采用的方法，是将需要返回的 err 变量在函数内部全局化，然后结合 defer 统一处理：

这种方案要特别注意变量作用域问题.比如前面的 if err = DoSomething()err != nil { 行，如果我们将 err = ... 改为 err := ...，那么这一行中的 err 变量和函数最前面定义的 (err error) 不是同一个变量，因此即便在此处发生了错误，但是在 defer 函数中无法捕获到 err 变量了。

在 try ... catch 方面，笔者其实没有特别好的方法来模拟，即便是上面的方法也有一个很让人头疼的问题：defer 写法导致错误处理前置，而正常逻辑后置了，从可读性的角度来说非常不友好。因此也希望读者能够指教。同时还是希望 Go 官方能够继续迭代，支持这种语法。

这一点在 Go 里面，一开始看起来还是比较统一的，这就是 Go 最开始就定义的 error 类型，以系统标准的方式，统一了进程内函数级的错误返回模式。调用方使用 if err != nil 的统一模式，来判断一个调用是不是成功了。

但是随着 Go 的逐步推广，由于 error 接口的高自由度，程序员们对于 “如何判断该错误是什么错误” 的时候，出现了分歧。

在 Go 1.13 之前，对于 error 类型的传递，有三种常见的模式：

这个流派很简单，就是将各种错误信息直接定义为一个类枚举值的模式，比如：

当遇到相应的错误信息时，直接返回对应的 error 类枚举值就行了。对于调用方也非常方便，可以采用 switch - case 来判断错误类型：

个人觉得这种设计模式本质上还是 C error code 模式。

这种流派则是充分使用了 “error 是一个 interface” 的特性，重新自定义一个 error 类型。一方面是用不同的类型来表示不同的错误分类，另一方面则能够实现对于同一错误类型，能够给调用方提供更佳详尽的信息。举个例子，我们可以定义多个不同的错误类型如下：

对于调用方，则通过以下代码来判断不同的错误：

这种模式，一方面可以透传底层错误，另一方面又可以添加自定义的信息。但对于调用方而言，灾难在于如果要判断某一个错误的具体类型，只能用 strings.Contains() 来实现，而错误的具体描述文字是不可靠的，同一类型的信息可能会有不同的表达；而在 fmt.Errorf 的过程中，各个业务添加的额外信息也可能会有不同的文字，这带来了极大的不可靠性，提高了模块之间的耦合度。

在 go 1.13 版本发布之后，针对 fmt.Errorf 增加了 wraping 功能，并在 errors 包中添加了 Is() 和 As() 函数。关于这个模式的原理和使用已经有很多文章了，本文就不再赘述。

这个功能，合并并改造了前文的所谓 “== 流派” 和 “fmt.Errorf” 流派，统一使用 errors.Is() 函数；此外，也算是官方对类型断言流派的认可（专门用 As() 函数来支持）。

在实际应用中，函数/模块透传错误时，应该采用 Go 的 error wrapping 模式，也就是 fmt.Errorf() 配合 %w 使用，业务方可以放心地添加自己的错误信息，只要调用方统一采用 errors.Is() 和 errors.As() 即可。

服务/系统层面的错误信息返回，大部分协议都可以看成是 code - message 模式或者是其变体：

这种模式的特点是：code 是给程序代码使用的，代码判断这是一个什么类型的错误，进入相应的分支处理；而 message 是给人看的，程序可以以某种形式抛出或者记录这个错误信息，供用户查看。

在这一层面有什么问题呢？code for computer，message for user，好像挺好的。

但有时候，我们可能会收到用户/客户反馈一个问题：“XXX 报错了，帮忙看看什么问题？”。用户看不懂我们的错误提示吗？

在笔者的经验中，我们在使用 code - message 机制的时候，特别是业务初期，难以避免的是前后端的设计文案没能完整地覆盖所有的错误用例，或者是错误极其罕见。因此当出现错误时，提示暧昧不清（甚至是直接提示错误信息），导致用户从错误信息中找到解决方案

在这种情况下，尽量覆盖所有错误路径肯定是最完美的方法。不过在做到这一点之前，码农们往往有下面的解决方案：

既要隐藏信息，又要暴露信息，我可以摔盘子吗……

这里，笔者从日益普及的短信验证码有了个灵感——人的短期记忆对 4 个字符还是比较强的，因此我们可以考虑把错误代码缩短到 4 个字符——不区分大小写，因为如果人在记忆时还要记录大小写的话，难度会增加不少。

怎么用 4 个字符表示尽量多的数据呢？数字+字母总共有 36 个字符，理论上使用 4 位 36 进制可以表示 36x36x36x36 = 1679616 个值。因此我们只要找到一个针对错误信息字符串的哈希算法，把输出值限制在 1679616 范围内就行了。

这里我采用的是 MD5 作为例子。MD5 的输出是 128 位，理论上我可以取 MD5 的输出，模 1679616 就可以得到一个简易的结果。实际上为了减少除法运算，我采用的是取高 20 位（0xFFFFF）的简易方式（20 位二进制的最大值为 1048575），然后将这个数字转成 36 进制的字符串输出。

当出现异常错误时，我们可以将 message 的提示信息如下展示：“未知错误，错误代码 30EV，如需协助，请联系 XXX”。顺带一提，30EV 是 "Access denied for user 'db_user'@'127.0.0.1'" 的计算结果，这样一来，我就对调用方隐藏了敏感信息。

至于后台侧，还是需要实实在在地将这个哈希值和具体的错误信息记录在日志或者其他支持搜索的渠道里。当用户提供该代码时，可以快速定位。

这种方案的优点很明显：

简易的错误码生成代码如下：

当然这种方案也有局限性，笔者能想到的是需要注意以下两点：

此外，笔者需要再强调的是：在开发中，针对各种不同的、正式的错误用例依然需要完整覆盖，尽可能通过已有的 code - message 机制将足够清晰的信息告知主调方。这种 hashcode 的错误代码生成方法，仅适用于错误用例遗漏、或者是快速迭代过程中，用于发现和调试遗漏的错误用例的临时方案。

Go 语言是静态类型语言，虽然它也可以表现出动态类型，但是使用一个嵌套的 map[string]interface{} 在那里乱叫会让代码变得特别丑。通过掌握语言的静态特性，我们可以做的更好。

通过同一通道交换多种信息的时候，我们经常需要 JSON 具有动态的，或者更合适的参数内容。首先，让我们来讨论一下消息封装(message envelopes)，JSON 在这里看起来就像这样：

通过 interface{}，我们可以很容易的将数据结构编码成为独立封装的，具有多种类型的消息体的 JSON 数据。为了生成下面的 JSON ：

我们可以使用这些 Go 类型：

输出的结果是：

这些并没有什么特殊的。

如果你想将上面的 JSON 对象解析成为一个 Envelope 类型的对象，最终你会将 Msg 字段解析成为一个 map[string]interface{}。这种方式不是很好用，会使你后悔你的选择。

输出：

就像前面说的，我推荐修改 Envelope 类型，就像这样：

json.RawMessage 非常有用，它可以让你延迟解析相应的 JSON 数据。它会将未处理的数据存储为 []byte。

这种方式可以让你显式控制 Msg 的解析。从而延迟到获取到 Type 的值之后，依据 Type 的值进行解析。这种方式不好的地方在于你需要先明确解析 Msg，或者你需要单独分为 EnvelopeIn 和 EnvelopeOut 两种类型，其中 EnvelopeOut 仍然有 Msg interface{}。

那么如何将上述两者好的一面结合起来呢？通过在 interface{} 字段中放入 *json.RawMessage!

输出：

虽然我极其推荐你将动态可变的部分放在一个单独的 key 下面，但是有时你可能需要处理一些预先存在的数据，它们并没有用这样的方式进行格式化。

如果可以的话，请使用文章前面提到的风格。

我们可以通过解析两次数据的方式来解决。

dynamite

配置环境

在OSX系统上很容易安装GO的可执行文件:

brew install go

虽然Java或Ruby (或者任何我知道的语言) 可以在本地文件系统的任何地方使用命令,，但是Go项目必须使用单一专用的地址,，并且在$GOPATH环境变量下可用。

第 1 段（可获 1.54 积分）

R e 7个月前

创建项目对于Logstash插件，Beats项目可以从模板创建。官方文档的说明十分简单。鉴于Go对文件系统上的位置的严格要求，只需按照以下说明生成一个新的即可使用的Go项目。默认模板代码将在控制台中重复发送带增量计数器的事件：./redditbeat -e -d "*"

2016/12/13 22:55:56.013362 beat.go:267: INFO

Home path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat]

Config path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat]

Data path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/data]

Logs path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/logs]

2016/12/13 22:55:56.013390 beat.go:177: INFO Setup Beat: redditbeat Version: 6.0.0-alpha1

2016/12/13 22:55:56.013402 processor.go:43: DBG Processors:

2016/12/13 22:55:56.013413 beat.go:183: DBG Initializing output plugins

2016/12/13 22:55:56.013417 logp.go:219: INFO Metrics logging every 30s

2016/12/13 22:55:56.013518 output.go:167: INFO Loading template enabled. Reading template file:

/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/redditbeat.template.json

2016/12/13 22:55:56.013888 output.go:178: INFO Loading template enabled for Elasticsearch 2.x. Reading template file:

/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/redditbeat.template-es2x.json

2016/12/13 22:55:56.014229 client.go:120: INFO Elasticsearch url: http://localhost:9200

2016/12/13 22:55:56.014272 outputs.go:106: INFO Activated elasticsearch as output plugin.

2016/12/13 22:55:56.014279 publish.go:234: DBG Create output worker

2016/12/13 22:55:56.014312 publish.go:276: DBG No output is defined to store the topology.

The server fields might not be filled.

2016/12/13 22:55:56.014326 publish.go:291: INFO Publisher name: LSNM33795267A

2016/12/13 22:55:56.014386 async.go:63: INFO Flush Interval set to: 1s

2016/12/13 22:55:56.014391 async.go:64: INFO Max Bulk Size set to: 50

2016/12/13 22:55:56.014395 async.go:72: DBG create bulk processing worker (interval=1s, bulk size=50)

2016/12/13 22:55:56.014449 beat.go:207: INFO redditbeat start running.

2016/12/13 22:55:56.014459 redditbeat.go:38: INFO redditbeat is running! Hit CTRL-C to stop it.

2016/12/13 22:55:57.370781 client.go:184: DBG Publish: {

"@timestamp": "2016-12-13T22:54:47.252Z",

"beat": {

"hostname": "LSNM33795267A",

"name": "LSNM33795267A",

"version": "6.0.0-alpha1"

"counter": 1,

"type": "redditbeat"

}

第 2 段（可获 0.73 积分）

R e 7个月前

关于命令行参数：-e记录到标准err，而-d“*”启用所有调试选择器。有关参数的完整列表，请键入./redditbeat --help。编码Go代码位于.go文件中（令人惊讶...）在$ GOPATH / src文件夹的项目子文件夹中。配置类型第一个有趣的文件是config / config.go，它定义了一个结构来声明Beat的可能参数。至于前面的Logstash插件，让我们添加一个subreddit参数，并设置它的默认值：type Config struct {

Period time.Duration `config:"period"`

Subreddit string `config:"subreddit"`

}

var DefaultConfig = Config {

Period: 15 * time.Second,

Subreddit: "elastic",

}

第 3 段（可获 0.89 积分）

R e 7个月前

Beater TypeBeat本身的代码在beater / redditbean.go中找到。默认模板为Beat和三个函数创建一个struct：Beat构造函数—用来读取配置: func New(b *beat.Beat, cfg *common.Config) (beat.Beater, error) { ... }

Run 函数- 需要覆盖Beat的主要功能: func (bt *Redditbeat) Run(b *beat.Beat) error { ... }

Stop 函数管理优雅关闭: func (bt *Redditbeat) Stop() { ... }

Note 1:在Go中没有明确的接口实现。实现了 interface 中的所有方法，即创建一个隐式继承关系. 出于写文档的目的，这是 Beater 接口:type Beater interface {

Run(b *Beat) error

Stop()

}

第 4 段（可获 0.93 积分）

R e 7个月前

因此，由于Beat结构实现了Run和Stop，它是一个Beater。Note 2: 在Go中没有类的概念，所以方法不能在一个具体类型上声明。但是，它存在扩展函数的概念：可以添加行为到一个类型（在单个包中）的函数。它需要声明receiver 类型：这是在fun关键字和函数名之间完成的 - 这里是指Redditbeat类型（或者更准确地说，是一个指向Redditbeat类型的指针，但是这里有一个隐式转换）。构造函数和Stop函数可以保持不变，无论什么特性都应该在Run函数中。在这种情况下，功能是调用Reddit REST API并为每个Reddit帖子发送一条消息。

第 5 段（可获 1.59 积分）

R e 7个月前

最终代码如下所示：func (bt *Redditbeat) Run(b *beat.Beat) error {

bt.client = b.Publisher.Connect()

ticker := time.NewTicker(bt.config.Period)

reddit := "https://www.reddit.com/r/" + bt.config.Subreddit + "/.json"

client := &http.Client {}

for {

select {

case <-bt.done:

return nil

case <-ticker.C:

}

req, reqErr := http.NewRequest("GET", reddit, nil)

req.Header.Add("User-Agent", "Some existing header to bypass 429 HTTP")

if (reqErr != nil) {

panic(reqErr)

}

resp, getErr := client.Do(req)

if (getErr != nil) {

panic(getErr)

}

body, readErr := ioutil.ReadAll(resp.Body)

defer resp.Body.Close()

if (readErr != nil) {

panic(readErr)

}

trimmedBody := body[len(prefix):len(body) - len(suffix)]

messages := strings.Split(string(trimmedBody), separator)

for i := 0 i < len(messages) i ++ {

event := common.MapStr{

"@timestamp": common.Time(time.Now()),

"type": b.Name,

"message": "{" + messages[i] + "}",

}

bt.client.PublishEvent(event)

}

第 6 段（可获 0.09 积分）

R e 7个月前

这里是对最重要的几部分的解释：line 4: 通过连接字符串创建Reddit REST URL，包括配置Subreddit参数。记住，它的默认值已在config.go文件中定义。line 5: 引用httpClient类型line 12: 创建新的HTTP请求。注意Go允许多个返回值。line 13: 如果没有设置标准请求头，Reddit的API将返回429状态码。line 14: Go标准错误不通过异常处理，而是随着常规返回值返回。根据Golang wiki：指示调用者的错误条件，应通过返回错误值来完成line 15: panic() 函数类似于在Java中抛出异常, 被处理时推到栈顶。有关详细信息，请查看相关文档。line 17: 执行HTTP请求。line 21: 将响应主体读入字节数组。line 22: 关闭主体流。注意defer关键字：defer语句延迟函数的执行，直到环绕的函数返回。line 26: 创建整个响应主体字节数组的切片 - 对数组的一部分的引用。实质上，它删除了前缀和后缀以保持相关的JSON值。之后将字节数组解析成JSON。line 27: 分割切片以单独获取每个JSON片段。line 29: 将消息创建为简单的字典结构。line 34: 发送。

第 7 段（可获 3.11 积分）

R e 7个月前

配置, 构建, 运行默认配置参数可以在项目根目录下的redditbeat.yml文件中找到。请注意，redditbeat.full.yml中列出了其他常见的Beat参数，以及相关注释。关于Beats的一个有趣的事情是，他们的消息可以直接发送到Elasticsearch或Logstash进行进一步处理。这在上述配置文件中配置。redditbeat:

period: 10s

output.elasticsearch:

hosts: ["localhost:9200"]

output.logstash:

hosts: ["localhost:5044"]

enabled: true

第 8 段（可获 0.78 积分）

R e 7个月前

此配置片段将每10秒循环运行Run方法，并将消息发送到在localhost上运行的Logstash实例在端口5044上。这可以在运行Beat时被覆盖（见下文）。注意：为了使Logstash接受来自Beats的消息，必须安装Logstash Beat插件，并且必须为Beats配置Logstash的input：input {

beats {

port => 5044

}

要构建项目，请在项目的根目录中键入make。它将创建一个可以运行的可执行文件。./redditbeat -e -E redditbeat.subreddit=java

-E参数可以覆盖在的redditbeat.yml配置文件中找到的参数（见上文）。在这里，它设置subreddit读为“java”，而不是默认的“elastic”。

第 9 段（可获 1.3 积分）

R e 7个月前

输出如下所示:2016/12/17 14:51:19.748329 client.go:184: DBG Publish: {

"@timestamp": "2016-12-17T14:51:19.748Z",

"beat": {

"hostname": "LSNM33795267A",

"name": "LSNM33795267A",