一、内存性能指标
为了分析内存的性能瓶颈，首先要知道，怎样衡量内存的性能，也就是性能指标问题。
首先，最容易想到的是系统内存使用情况，如：已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。
- 已用内存和剩余内存：就是已经使用和还未使用的内存。
- 共享内存：通过 tmpfs 实现，所以它的大小也就是 tmpfs 使用的内存大小。tmpfs 其实也是一种特殊的缓存。
- 可用内存：新进程可以使用的最大内存，它包括剩余内存和可回收缓存。
- 缓存：包括两部分，一部分是磁盘读取文件的页缓存，用来缓存从磁盘读取的数据，可以加快以后再次访问的速度。另一部分，则是 Slab 分配器中的可回收内存。
- 缓冲区：对原始磁盘块的临时存储，用来缓存将要写入磁盘的数据。这样，内核就可以把分散的写集中起来，统一优化磁盘写入。
第二，应该是进程内存使用情况，如：进程的虚拟内存、常驻内存、共享内存以及Swap内存等
- 虚拟内存：包括了进程代码段、数据段、共享内存、已经申请的堆内存和已经换出的内存等。这里要注意，已经申请的内存，即使还没有分配物理内存，也算作虚拟内存。
- 常驻内存：进程实际使用的物理内存，不过，它不包括 Swap 和共享内存。
- 共享内存：既包括与其他进程共同使用的真实的共享内存，还包括了加载的动态链接库以及程序的代码段等。
- Swap 内存：指通过 Swap 换出到磁盘的内存。
说明：常驻内存一般会换算成占系统总内存的百分比，也就是进程的内存使用率。
第三，缺页异常
系统调用内存分配请求后，并不会立刻为其分配物理内存，而是在请求首次访问时，通过缺页异常来分配。
缺页异常又分为下面两种场景。
- 可以直接从物理内存中分配时，被称为次缺页异常。
- 需要磁盘 I/O 介入（比如 Swap）时，被称为主缺页异常。
显然，主缺页异常升高，就意味着需要磁盘 I/O，那么内存访问也会慢很多。
第四：Swap使用情况，如：Swap的已用空间、剩余空间、换入速度和换出速度等
- 已用空间和剩余空间：就是字面上的意思，已经使用和没有使用的内存空间。
- 换入和换出速度：表示每秒钟换入和换出内存的大小。
内存性能指标思维导图
二、内存性能工具
2.1、free
可以查看系统的整体内存和Swap使用情况。相对应，还可以用top或ps，查看进程的内存使用情况。
2.2、proc文件系统
案例：缓存和缓冲区原理
通过proc文件系统找到内存指标的来源，并通过vmstat，动态观察内存情况。
与free相比，vmstat除了可以动态查看内存变化，还可以区分缓存和缓冲区，Swap换入和换出的内存大小。
2.3、cachestat
案例：缓存和缓冲区案例
cachestat查看整个系统缓存的读写命中情况，并用cachetop来观察每个进程的读写命中情况。
2.4、vmstat
案例：内存泄露
vmstat动态观察内存使用增长，用memleak，确认发生内存泄露。通过memleak给出内存分配栈，从而找到内存泄露的可以位置。
2.5、sar
案例：Swap案例
使用sar发现缓冲区和Swap升高的问题。通过cachetop，找到缓冲区升高的根源；通过对比剩余内存跟/proc/zoneinfo 的内存阈，发现Swap升高是内存回收导致的，最后通过/proc文件系统，找出Swap所影响的进程。
三、性能指标和工具的联系
两个维度出发，整理和记忆
- 从内存指标出发，更容易把工具和内存的工作原理关联起来。
- 从性能工具出发，可以更快地利用工具，找出我们想观察的性能指标。特别是在工具有限的情况下，我们更得充分利用手头的每一个工具，挖掘出更多的问题。
根据内存性能指标和工具的对应关系，做了如下两个表格
3.1、表格一
从内存指标出发，列举了哪些性能工具可以提供这些指标。这样，在实际排查性能问题时，就可以清楚知道，究竟要用什么工具来辅助分析，提供你想要的指标。
3.2、表格二
从性能工具出发，整理了这些常见工具能提供的内存指标。
注意：这些工具的具体使用方法不用被，只要知道有哪些可用的工具以及这些工具提供的基本指标。真正用时，可以man查询手册
四、如何迅速分析内存的性能瓶颈
问题：每次碰到内存性能问题，都要把上面这些工具全跑一遍，然后再把所有内存性能指标全分析一遍吗？
有没有什么方法，可以又快又准地分析出系统的内存问题呢？
找关联，虽然内存的性能指标很多，但都是为了描述内存的原理，指标间自然不会完全孤立，一般都会有关联。当然，反过来说，这些关联也正是源于系统的内存原理，需要扎实基础原理。
举个最简单的例子，当你看到系统的剩余内存很低时，是不是就说明，进程一定不能申请分配新内存了呢？当然不是，因为进程可以使用的内存，除了剩余内存，还包括了可回收的缓存和缓冲区。
为了迅速定位内存问题，通常会先运行几个覆盖面比较大的性能工具，如：free、top、vmstat、pidstat等
4.1、具体分析思路
- 先用free和top，查看系统整体的内存使用情况。
- 再用vmstat和pidstat，查看一段时间的趋势，从而判断出内存问题的类型。
- 最后进行详细分析，比如内存分配分析、缓存/缓冲区分析、具体进程的内存使用分析等。
流程图：
4.2、示例
4.2.1、示例一
当你通过 free，发现大部分内存都被缓存占用后，可以使用 vmstat 或者 sar 观察一下缓存的变化趋势，确认缓存的使用是否还在继续增大。
如果继续增大，则说明导致缓存升高的进程还在运行，那你就能用缓存 / 缓冲区分析工具（比如 cachetop、slabtop 等），分析这些缓存到底被哪里占用。
4.2.2、示例二
当你 free 一下，发现系统可用内存不足时，首先要确认内存是否被缓存 / 缓冲区占用。排除缓存 / 缓冲区后，你可以继续用 pidstat 或者 top，定位占用内存最多的进程。
找出进程后，再通过进程内存空间工具（比如 pmap），分析进程地址空间中内存的使用情况就可以了。
4.2.3、示例三
当你通过 vmstat 或者 sar 发现内存在不断增长后，可以分析中是否存在内存泄漏的问题。
比如可以使用内存分配分析工具 memleak ，检查是否存在内存泄漏。如果存在内存泄漏问题，memleak 会为你输出内存泄漏的进程以及调用堆栈。
五、总结
回顾了常见的内存性能指标，梳理了常见的内存性能分析工具，最后还总结了快速分析内存问题的思路。
虽然内存的性能指标和性能工具都挺多，但理解了内存管理的基本原理后，会发现它们其实都有一定的关联。梳理出它们的关系，掌握内存分析的套路并不难。找到内存问题的来源后，下一步就是相应的优化工作了。在我看来，内存调优最重要的就是，保证应用程序的热点数据放到内存中，并尽量减少换页和交换。
常见的优化思路有这么几种。
- 最好禁止 Swap。如果必须开启 Swap，降低 swappiness 的值，减少内存回收时 Swap 的使用倾向。
- 减少内存的动态分配。比如，可以使用内存池、大页（HugePage）等。
- 尽量使用缓存和缓冲区来访问数据。比如，可以使用堆栈明确声明内存空间，来存储需要缓存的数据；或者用 Redis 这类的外部缓存组件，优化数据的访问。
- 使用 cgroups 等方式限制进程的内存使用情况。这样，可以确保系统内存不会被异常进程耗尽。
- 通过
/proc/pid/oom_adj ，调整核心应用的 oom_score。这样，可以保证即使内存紧张，核心应用也不会被 OOM 杀死。
六、补充
BCC相关工具需要版本较高的内核，生产环境中可能无法满足这个要求，需要如下工具代替：
- 内存泄露使用
valgrind - 动态跟踪使用
systemtap
