Chapter 06 · 性能优化：量化、算子、编译、内存与通信

1. 优化不是堆名词，而是瓶颈定位

真正的优化顺序永远是：先定位瓶颈，再选手段。如果你还没搞清楚系统慢是因为显存吃紧、带宽不够、算子低效还是多卡通信开销，就开始同时试量化、编译和换框架，最后通常只会得到一些不可解释的数字。

所以这一章最重要的收获，不是学会“所有优化方法”，而是学会问对问题：为什么现在的系统慢，最先限制我的到底是什么。

2. 量化更像在换一种资源使用方式

量化的直接作用，是降低权重和 / 或激活的表示精度，从而减少显存占用和数据搬运成本。对推理系统来说，这通常意味着同样的硬件能放下更大的模型、更高的并发或更长的上下文。

但量化不是免费午餐。不同量化方案对精度影响不同，对内核支持要求不同，对不同模型架构的适配难度也不同。也就是说，量化是“用更多工程复杂度和潜在精度风险，换取资源效率”的典型手段。

3. 算子优化与图编译在解决不同层面的浪费

算子优化更偏热点局部：例如矩阵乘、attention、归一化这些高频高成本操作怎样跑得更快。图编译则更偏整体执行路径：怎样减少不必要的中间张量、冗余调度和数据搬运，让整条执行图更顺。

二者经常协同出现。你可以把它们理解成：一个在抠“单步效率”，一个在抠“全局组织效率”。后面你看不同框架的能力差异时，会发现有的框架更擅长把热点算子榨干，有的更强调整体图执行和平台耦合优化。

4. 内存布局优化，常常决定你能不能真正发挥硬件

有时系统并不是算不动，而是数据放得不好、取得不顺，导致 GPU 大量时间花在等待数据而不是计算。KV Cache 的分页、张量布局的重排、减少不必要的 copy，都是这条线上的优化思路。

这也是为什么很多优秀的推理系统论文，标题写的是 attention 或 serving，但正文里大篇幅都在谈内存管理和访问模式。因为真正限制性能的往往不是“有没有算力”，而是“算力拿不拿得到数据”。

5. 多卡场景里，通信优化和并行策略同样重要

当模型跨卡运行时，很多优化都要重新审视。单卡下有效的算子优化，到了多卡场景可能被通信延迟抵消；单卡下省显存的方案，到了多卡场景又可能加重同步压力。所以多卡推理不是“单卡优化的简单叠加”，而是另一层系统设计。

这也是为什么后面看 TensorRT-LLM 这类更贴近特定硬件平台的路线时，你会发现它们对并行和通信的叙述格外重。

6. 如何建立自己的优化决策框架

一个实用的框架是：先看资源约束，再看负载特征，再看部署目标。比如显存先不够，就优先看量化和缓存管理；GPU 利用率不高但带宽紧张，就优先看算子和内存布局；多卡扩展不理想，就先看并行切分和通信，而不是先换 sampling 参数。

7. 优化顺序通常是“先便宜、后昂贵，先确定、后冒险”

不是所有优化都值得第一时间上。很多时候，先通过更稳妥的手段拿到一轮确定收益，比如调好 batch 组织、排查明显的内存浪费、做基础量化，再决定是否进入更复杂的自定义内核和深度平台绑定，会更符合工程节奏。

这个顺序的价值在于：你更容易解释结果，也更容易控制回归风险。否则一口气叠很多优化，最后即使数字变好，也不清楚到底是哪一项在起作用。