Go Diagnose - 诊断工具

https://golang.org/doc/diagnostics.html

1. 诊断工具分类

• Profiling：内存、频繁调用函数
• Tracing：调用或请求声明周期，每个组件耗时，可跨多个 Go 进程
• Debugging：调试 Debug
• Runtime statistics and events：运行时资源收集和统计和分析

2. Profiling

• 收集 profiling data：https://golang.org/pkg/runtime/pprof/
• 使用 pprof 工具来过滤和可视化顶部代码路径：https://github.com/google/pprof/blob/master/doc/README.md

收集数据：

• cpu：cpu 消耗周期
• heap：内存分配样本，用于监视当前和历史内存使用情况，并检查内存泄漏
• threadcreate：OS 线程创建
• goroutine：当前 goroutines 的所有数量
• block：阻塞地方/同步原语/通道（设置runtime.SetBlockProfileRate=1）
• mutex：报告锁定争用情况，若怀疑由于互斥争用而未充分利用您的 CPU 时候可以使用（设置runtime.SetMutexProfileFraction=1）

在 Linux 上，perf 工具可用于分析 Go 程序。 Perf 可以剖析和展开 cgo/SWIG 代码和内核，因此深入了解本机/内核性能瓶颈非常有用。

在 macOS 上，Instruments 套件可以使用 profile Go 程序。

2.1. Linux 使用 perf

• https://perf.wiki.kernel.org/index.php/Tutorial

2.2. Mac 使用 InstrumentsUserGuide

• https://developer.apple.com/library/content/documentation/DeveloperTools/Conceptual/InstrumentsUserGuide/

2.3. 生产分析 ？

• 生产分析是安全的
• 启用某些配置，会增加性能开销
• 考虑挑选生产副本，间隔 Y 秒，将其分析 X 秒并保存结果以进行可视化和分析
• 配置文件配置可能相互干扰，尽量一次读取一份配置

2.4. 图形化分析

Go 工具使用 go 工具 pprof 提供配置文件数据的文本，图形和 callgrind 可视化。

• pprof 图：https://blog.golang.org/profiling-go-programs
• 火焰图
  • flame graph：http://www.brendangregg.com/flamegraphs.html
  • https://github.com/google/pprof

2.5. pprof 使用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

package main

import (
    "log"
    "net/http"
    "net/http/pprof"
)

func main() {
    mux := http.NewServeMux()
    mux.HandleFunc("/custom_debug_path/profile", pprof.Profile)
    log.Fatal(http.ListenAndServe(":7777", mux))
}

3. Tracing - golang.org/x/net/trace

• 检测和分析应用程序延迟
• 耗时 call 调用
• 弄清楚利用率和性能改进

在单体系统中，从程序的构建块收集诊断数据相对容易，所有模块都位于一个进程中，并共享公共资源以报告日志，错误和其他诊断信息。

一旦系统超出单个进程并开始分布式，从前端 Web 服务器到其所有后端的服务调用分析将变得更加困难，分布式跟踪在仪器和分析生产系统方面发挥重要作用的地方。

分布式跟踪是一种检测代码的方法，用于分析用户请求的整个生命周期中的延迟，分布式系统并且传统的分析和调试工具无法扩展时，您可能希望使用分布式跟踪工具来分析用户请求和 RPC 的性能。

分布式跟踪特性：

• 大型系统中应用程序延迟分析
• 请求生命周期内的所有 RPC
• 找出可应用于我们系统的性能改进（没有分布式跟踪，性能分析许多瓶颈并不明显）

3.1. 跟踪点

GO 没有办法自动拦截每个函数调用并创建跟踪，需要手动检测代码以创建，结束和注释跨度，不像 Java 有字节码注入技术

3.2. 跟踪头

可以在 context.Context 中传播跟踪标识符和标记，目前还没有行业中的规范跟踪密钥或跟踪标头的通用表示（最好方式是基于上下文带值跟踪）

3.3. 标准库或运行时内库事件跟踪

标准库和运行时试图公开几个额外的 API 来通知低级内部事件，例如，httptrace.ClientTrace 提供 API 以跟踪传出请求生命周期中的低级事件。

目前 GO 官方正在努力从运行时执行跟踪器中检索低级运行时事件，并允许用户定义和记录其用户事件。

4. Debugging

调试器允许我们理解程序的执行流程和当前状态，以及识别程序错误行为的过程。

本节仅关注将调试器附加到程序和核心转储调试：

• Delve：Delve 是 Go 编程语言的调试器。它支持 Go 的运行时概念和内置类型。 Delve 正试图成为 Go 程序的全功能可靠调试器。 ¹
• GDB：尽管 GDB 可用于调试 Go 程序（堆栈管理，线程和运行时包含与执行模型），但它并不理想，可能会产生混淆。²

4.1. Debugging 以及编译器优化带来的问题

Gc 编译器执行优化，会函数内联和变量注册，这些优化有时会使调试调试更困难，可以在构建正在调试的代码时禁用优化：

1

$ go build -gcflags=all="-N -l"

作为改进工作的一部分，Go 1.10 引入了一个新的编译器标志-dwarflocationlists，该标志使编译器添加位置列表，以帮助调试器使用优化的二进制文件。

1

$ go build -gcflags="-dwarflocationlists=true"

尽管 delve 和 gdb 都提供了 CLI，但大多数编辑器集成和 IDE 都提供了特定于调试的用户界面。

4.2. Coredump 转存储再调试

核心转储文件是包含正在运行的进程的内存转储及其进程状态的文件，它主要用于程序的事后调试，并在程序运行时了解它的状态，可用于事后使用 delve 或 gdb 进行调试。³

5. Runtime 事件和统计分析

运行时提供程序运行内部事件的统计信息和报告，用于诊断性能和利用率问题，用户可以监控这些统计数据，以更好地了解 Go 程序的整体运行状况和性能。

一些经常监控的统计数据和状态：

• Runtime.ReadMemStats：堆分配和垃圾回收相关的度量，监视进程正在消耗多少内存资源，捕获内存泄漏非常有用；
• Debug.ReadGCStats：有关垃圾收集的统计信息，报告垃圾收集器暂停和暂停时间百分位数的时间线；
• Debug.Stack：当前堆栈跟踪，查看当前正在运行的 goroutine 数量，他们正在做些什么事情，goroutines 是运行或阻塞；
• Debug.WriteHeapDump：暂停所有 goroutine 的执行，并允许您将堆转储到文件中，堆转储是给定时间 Go 进程内存的快照，包含所有已分配的对象以及 goroutine，finalizers 等；
• Runtime.NumGoroutine：返回当前 goroutine 的数量，可以监视该值以查看是否使用了足够的 goroutine，或检测 goroutine 泄漏；

5.1. Go 附带运行时执行跟踪器

Go 附带了一个运行时执行跟踪器，用于捕获各种运行时事件：调度，系统调用，垃圾收集，堆大小和其他事件由运行时收集，并可通过 go 工具跟踪进行可视化。

执行跟踪器是一种检测延迟和利用率问题的工具，可以检查 CPU 的使用情况，以及何时联网或系统调用是 goroutines 抢占的原因。

Tracer 对以下内容非常有用：⁴

• 了解 goroutines 如何执行
• 了解一些核心运行时事件，例如 GC 运行
• 识别较差的并行化。

6. GODEBUG 参数配置

如果相应地设置了 GODEBUG 环境变量，运行时也会发出事件和信息：

• GODEBUG=gctrace=1：GC 跟踪，在每个集合中打印垃圾收集器事件，总结收集的内存量和暂停的长度。
• GODEBUG=schedtrace=X ：调度跟踪，每 X 毫秒打印一次调度事件

GODEBUG 环境变量可用于禁用标准库和运行时中指令集扩展的使用：

• GODEBUG=cpu.all=off ：禁用指定指令集扩展中的指令
• GODEBUG=cpu.avx=off ：禁止使用指定指令，比如 avx