显存溢出的常见原因与处理办法，不能只从“模型太大”一个方向找。训练时，参数、梯度、优化器状态和中间激活会同时占用显存；推理时，长上下文带来的 KV 缓存、注意力临时张量也可能推高峰值。先用框架的内存分析工具记录一次完整训练步或推理请求，再按以下六项逐一调整，避免一次改动太多而无法判断效果。
先定位峰值来自哪里
如果显存随序列长度或批量增大得很快，通常要检查激活和注意力；若训练开始后占用持续增加，需核对优化器状态、缓存或未释放的计算图；如果任务尺寸相同却偶发失败，则要留意临时工作区和显存碎片。测试时应包含预热、完整前向与反向，记录峰值已分配显存，而不只看空闲时的占用。
模型侧：先改这三项
1. 启用混合精度
在硬件和模型算子支持时，将部分计算切换为 BF16 或 FP16，通常能降低激活与临时张量的占用。BF16 的数值范围较宽，适合许多训练任务；FP16 可能需要动态损失缩放，以降低数值下溢风险。操作时先确认框架与设备支持，再在少量训练步中检查损失是否稳定、输出是否异常。若精度不达标，回退到更高精度或仅对部分算子启用低精度。
2. 使用梯度检查点
梯度检查点（也称激活重计算）只保存部分中间结果，反向传播时重新计算未保存的部分。它适合激活占用明显、计算资源尚有余量的长序列训练；代价是训练时间增加。可先选模型中较大的连续模块启用，再测峰值与每步耗时，逐块扩大范围，不必一开始覆盖整张计算图。
3. 降低微批量或序列长度，配合梯度累积
将每次前向处理的样本数调小，通常能直接压低激活峰值；训练需要保持较大的有效批量时，可用梯度累积跨多个微批量更新一次参数。长序列任务还可限制训练窗口或推理上下文长度，因为常规注意力的中间计算会随序列长度迅速增大。推理服务则应为单次请求设置合理的上下文上限和并发量：KV 缓存会随缓存 token 数及批量增加，不会因模型权重不变而保持恒定。
算子侧：再优化这三项
4. 选用省显存的注意力实现
在框架和硬件兼容时，优先测试 FlashAttention 或内存高效注意力实现。它们通过分块计算等方式，避免显式保存完整注意力矩阵，尤其适合长序列场景；不同版本对数据类型、头维度和掩码形式可能有限制。更换后要核对实际调用的内核，并比较相同输入下的峰值、速度和数值结果，而不是只看配置是否开启。
5. 开启算子融合
算子融合把连续的小操作合并执行，可减少中间张量的创建和读写。例如，融合归一化或优化器更新有机会降低临时显存占用。它的收益取决于模型结构、编译器和设备；某些形状不支持融合，或融合内核反而增加工作区。先检查框架日志或性能分析结果，再对单类算子做对照测试。
6. 限制算子工作区并检查临时缓冲
矩阵乘法、卷积等算子有时会为更快的算法申请额外工作区。若失败发生在特定算子附近，可尝试选择工作区需求较低的算法，或使用框架提供的工作区上限；代价可能是速度下降。还要确认是否有多个流、并发请求或预取任务同时持有临时张量。显存碎片会造成“总空闲量看似够、连续申请却失败”，但清理缓存不能释放仍被计算图引用的张量。
按顺序验证，避免盲目叠加
- 固定模型、输入长度、批量和并发，记录显存峰值、运行时间及数值表现。
- 先调整微批量或上下文长度，再测试低精度；每次只改一项。
- 仍不够时加入梯度检查点，随后比较省显存注意力与算子融合。
- 最后检查工作区、并发和缓存行为；若峰值仍高于设备容量，需缩小任务规模或更换更大显存设备。
判断显存溢出的常见原因与处理办法，核心是先分清长期占用与临时峰值，再选择愿意承担的代价：重计算换显存、低精度换吞吐，或较小微批量换更长训练时间。记录每次改动，才能找到适合当前模型和算子组合的设置。
常见问题
降低批量后，怎样维持有效批量？
训练中可使用梯度累积，将多个微批量的梯度汇总后再更新参数；需确认损失缩放和梯度同步设置与任务相符。
梯度检查点会改变模型结果吗？
它主要以重复计算换取较低的激活存储，理论上不改变目标计算；随机层、数值精度和实现细节仍可能带来微小差异，应做验证。
清空缓存能解决显存不足吗？
只能帮助回收框架可释放的缓存块，不能释放仍被模型、张量或计算图占用的显存，也不能保证消除工作区峰值。
推理时优先减小模型还是限制上下文？
若权重本身已占去大部分显存，需考虑量化或更小模型；若占用随生成长度和并发增长，优先限制上下文、批量或并发请求。
