大模型推理优化：量化压缩、推测解码与KV缓存的工程实践
随着ChatGPT、Claude等服务达到数亿月活用户规模，推理成本（Inference Cost）已经成为AI企业最大的运营支出之一。训练GPT-4的一次性成本约1亿美元，但每天服务数亿次查询的推理成本从长期来看总量可能远超训练成本。推理效率的提升直接决定了AI服务的可持续性，也是当前AI工程领域最受关注的优化方向之一。
量化（Quantization）：用更少比特表示权重
神经网络训练通常使用32位浮点（FP32）或16位浮点（FP16/BF16）精度存储权重。量化将这些权重压缩为更低精度的表示（INT8、INT4，甚至INT2），在可接受的性能损失范围内大幅减少内存占用和计算量。
INT8量化：将权重从16位压缩到8位，内存占用减半，推理速度在支持INT8硬件的设备上通常提升40-60%，而模型性能下降通常小于1%（在通用基准测试上）。`bitsandbytes`库和GGUF格式（在llama.cpp中广泛使用）是最主流的开源量化实现。
INT4量化（4-bit量化）：将70B参数模型从约140GB压缩至约35-40GB，使其首次能够在单台消费级高端服务器（甚至部分高端Mac，如M2 Ultra + 192GB内存）上运行。GPTQ和AWQ（Activation-aware Weight Quantization）是目前精度最好的INT4量化方法，在部分任务上性能损失可控制在3%以内。
Ollama和llama.cpp项目将量化模型的本地运行体验做到了极为流畅，是本地部署开源LLM的最主流工具链。参考我们关于本地LLM部署实践的文章了解具体配置。
推测解码（Speculative Decoding）
标准LLM推理是自回归的——每次生成一个词元（Token），每次均需完整的前向传播计算。推测解码通过引入一个小型”草稿模型”（Draft Model）并行预测未来多个词元，让大模型一次性验证（Accept or Reject）草稿模型的预测序列，从而在不改变输出质量的前提下提升吞吐量。
Google的Medusa和Spec Decode（DeepMind）是两个主流实现方向，均已在生产环境中被验证可提升推理吞吐2-3倍，对于对话场景的延迟改善尤为显著（首词延迟不变，但后续词生成速度显著加快）。
KV缓存优化
Transformer的自注意力机制在推理时需要存储所有历史词元的Key-Value矩阵（KV缓存），上下文窗口越长，KV缓存的内存占用越大（对于128K上下文窗口的70B模型，KV缓存可达数十GB）。
主要优化方向：KV缓存量化（将KV缓存本身也量化至INT8/INT4，减少内存占用而非计算量）；分块注意力（Flash Attention）（Dao et al. 2022，通过重新组织IO操作显著减少GPU内存访问，是当前最重要的注意力计算优化，已被所有主流LLM框架采用）；连续批处理（Continuous Batching）（vLLM框架的核心创新，通过动态批处理最大化GPU利用率）。
vLLM和TGI（Text Generation Inference）是当前最主流的高性能LLM推理服务框架，均集成了上述优化技术。
