Linux性能优化之CPU使用率

CPU 使用率是单位时间内 CPU 使用情况的统计，以百分比的方式展示。工作过程中，使用最多的查看 CPU 使用率的命令为 top 和 ps，top 和 ps 向用户呈现信息的区别如下。

• top 显示了系统总体的 CPU 和内存使用情况，以及各个进程的资源使用情况。
• ps 只显示每个进程的资源使用情况。

上面输出结果中，第三行 %Cpu 就是系统的 CPU 使用率，默认显示的是所有 CPU 的平均值，如果想要查看每个 CPU 的使用率，输入数字 1 即可。空白行之后是进程的实时信息，每个进程都有一个 %CPU 列，表示进程的 CPU 使用率，它是用户态和内核态 CPU 使用率的总和，包括进程用户空间使用的 CPU、系统调用执行的内核空间 CPU 、就绪队列等待运行的 CPU。

top 命令并没有细分每个进程的用户态 CPU 和内核态 CPU。在实际问题分析中，可以使用 pidstat 分析每个进程 CPU 使用情况的工具。比如，下面的 pidstat 命令，就间隔 1 秒展示了进程的 2 组 CPU 使用率。

上面输出结果包含如下内容。

• %usr ：用户态 CPU 使用率；
• %system：内核态 CPU 使用率；
• %guest：运行虚拟机 CPU 使用率；
• %wait：等待 CPU 百分比；
• %CPU：总的 CPU 使用率；
• CPU：进程运行的CPU编号；
• Command：进程执行时的命令行；

最后的 Average 部分，还计算了几组数据的平均值。

通过 top、ps、pidstat 等工具，可以容易地找到 CPU 使用率较高的进程。但是导致 CPU 使用率较高的具体原因是什么，或者是哪块代码导致的呢？找到消耗 CPU 的代码，才能更高效地对代码进行分析及优化。

对于分析导致 CPU 使用率高的代码，perf 是个不错的工具。perf 是 Linux 内置的性能分析工具，它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。使用 perf 分析 CPU 性能问题，有两种常见的用法，第一种用法是 perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数，使用界面如下所示。

上面输出结果中，第一行包含三个数据，分别是采样数（Samples）、事件类型（event）和事件总数量（Event count）。这个输出中，perf 总共采集了 47k 个 CPU 时钟事件，而总事件数则为 228648548。另外，采样数需要特别注意，如果采样数过少（比如只有十几个），那下面的排序和百分比就没什么实际参考价值了。

perf top 从第 2 行开始的输出中，包含 4 列数据，所代表的含义如下。

• Overhead：是该符号的性能事件在所有采样中的比例，用百分比来表示。
• Shared：是该函数或指令所在的动态共享对象（Dynamic Shared Object），如内核、进程名、动态链接库名、内核模块名等。
• Object：是动态共享对象的类型。比如 [.] 表示用户空间的可执行程序、或者动态链接库，而 [k] 则表示内核空间。
• Symbol ：是符号名，也就是函数名。当函数名未知时，用十六进制的地址来表示。

第二种用法是 perf record 和 perf report。perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，需要使用 perf report 解析展示。

#收集数据（ctrl c 停止收集）
perf record
#输出报告
perf report

在实际使用中，我们还经常为 perf top 和 perf record 加上 -g 参数，开启调用关系的采样，方便我们根据调用链来分析性能问题。

本案例在代码执行过程中注入一个死循环，使 CPU 使用率达到 100%，然后借助工具进行分析，找到使 CPU 利用率升高的代码段，案例代码编译生成的可执行文件名称为 main。

在 Ubuntu 系统中打开一个终端执行 main 程序，然后在另一个终端中输入 top ，随后输入 1 查看每个 CPU 的使用率，如下所示。

上面图片可以看到，CPU2 的使用率达到 100%，也可以看到 main 进程对CPU的使用率达到 100%，说明系统 CPU 使用率升高是由于 main 进程导致的，但是具体是什么函数导致的，可以使用 perf 命令进行展示，在终端中输入如下命令。

# -g开启调用关系分析，-p指定进程号为5954
perf top -g -p 5954

在上述命令的输出结构中，按方向键切换到 main 进程，然后按下回车键展开函数调用关系。

上面图片展示的调用关系为 __libc_start_main--->main--->func，查看案例代码，如下所示，func 接口中注入了死循环，从而导致 CPU 使用率升高。

perf 工具在分析 CPU 使用率升高原因、系统性能分析方面有很大的帮助，支持的命令比较多，在实际工作中，可以使用 "perf help" 命令查看 perf 支持的所有命令，使用 "perf help COMMAND" 命令查看某个命令的使用方法。

在实际的生产工作中，可能还会遇到一种奇怪的问题，通过 top 命令可以看到系统总体 CPU 使用率比较高，但是查看每一个进程的 CPU 使用率，却无法找出 CPU 使用率高的进程，这有可能是以下两种情况产生的。

• 应用里直接调用了其他二进制程序，这些程序通常运行时间比较短，通过 top 等工具也不容易发现。
• 应用本身在不停地崩溃重启，而启动过程的资源初始化，很可能会占用相当多的 CPU。

遇到这种情况应该如何分析呢，这里介绍两个工具，如下所示。

• pstree ：可以用树状形式显示所有进程之间的关系，在分析短时进程问题时，可以找到短时进程的父进程，从而结合代码进行分析。
• execsnoop：一个专为短时进程设计的工具，它通过 ftrace 实时监控进程的 exec() 行为，输出短时进程的基本信息，包括进程 PID、父进程 PID、命令行参数以及执行的结果。

以下提供了 pstree 工具和 execsnoop 工具的安装方式。

# pstree 安装
apt install pstree 
# execsnoop 安装
wget https://raw.githubusercontent.com/brendangregg/perf-tools/master/execsnoop
chmod 755 execsnoop
mv execsnoop /usr/bin