gpu-training-infra
对模型及其训练代码进行工程优化。仅当用户明确要求模型工程优化时使用。 GPU 状态、驱动、CUDA 可用性、服务器连接和普通训练运行不使用本技能。
SKILL.mdplugins/gpu-training-infra/skills/gpu-training-infra/SKILL.md
GitHub模型工程优化
目标与边界
- 以训练流程为主要对象,包括训练期间调用的数据处理、样本选择、状态更新、通信、日志和保存。
- 将独立测试、推理和最终评价视为低优先级后续工作。完成训练优化后,只有用户希望继续或测试成本确实值得处理时,才询问是否进入测试优化。
- 允许保持训练语义的工程改动,也允许误差处于项目可接受范围内的近似、精度调整和替代算法。
- 默认使用短时检查和短基准,不自动启动完整训练、多随机种子实验或大规模配置搜索。
- 普通复现或按项目既有命令启动训练时,不强制执行完整性能流程。
原则
- 先理解项目的实际训练周期,再选择优化方向,不把寻找单一最大热点作为启动条件。
- 先完成基础检查和有证据的常规改动,再重新检查执行流程并深入项目特有路径。
- 同时考虑能够覆盖多个环节的全局改进,以及只作用于特定实现的局部改进。
- 允许基础改进与专项改进累积生效;每次保留当前有效组合,再观察瓶颈是否迁移。
- 根据改动可能造成的误差和训练影响选择最低限度的验证,不机械要求严格等价。
- 可以保留局部加速,但必须说明测量范围,不把局部倍率写成整个训练加速。
工作顺序
已读的技能、手册和仍适用的优化记录直接复用;下列参考仅在信息缺失或需要具体指导时查阅相关部分。更换模型、硬件或并发方式后,检查受影响的代码与配置,并用短测确认原优化结论是否仍适用;不因此重读整套手册。预检不等于完成优化,新增改动仍须记录实测效果。
- 基于已知项目规则和实验协议,检查本次相关的训练入口、配置及日志,确认当前训练方式、可用资源、结果容差和允许改动范围。
- 结合 基线与定位,复用已有记录或建立轻量基线,大致理解训练周期中的时间、吞吐、显存和等待。
- 结合 通用优化手册,根据项目实际情况检查数据供给、传输、计算、精度、内存、编译、同步、通信和输出。这些是搜索方向,不是必须逐项执行的清单。
- 对可能有价值的常规改动进行短时对照。先确认有价值的单项,再以当前有效组合为基础加入互补候选;不做没有机制依据的全排列。
- 涉及批量和训练成本时,按需参考 批量与成本评估,将批量变化与纯工程改动分开说明。
- 完成一轮常规优化后,结合计时、调用规模和实现结构,检查尚未覆盖或发生变化的方法专属代码,寻找通用流程没有覆盖的项目特有路径。任务能够清晰分开时,可让子代理只读审查不同模块。
- 针对项目特有路径,从计算目的而不只从现有写法出发,寻找更高效的实现、数值表达或可控近似。优先保持训练含义,并按训练全链收益和相关任务信号决定是否保留。
- 组合有效改动并重测训练全链;停止前检查尚未覆盖的独立机制,对有依据的候选短测或说明排除理由。
- 按 验证与结果说明 简要交付改动、收益、显存、误差和适用范围。训练优化结束后,再根据用户意愿决定是否检查独立测试流程。
默认与深入模式
默认模式优先复用已有记录,完成基础检查、短基准、常规工程优化和项目专项审查,并根据组合后的结果决定是否继续。
深入模式只在训练会重复、短基准显示还有明显机会或用户明确要求时进入,可使用受控性能分析、代码向量化、数值近似、专用数据后端和多卡扩展。深入工作不应阻塞已有正式训练。
快速入口
- GPU 长时间空闲时,先分辨数据等待、同步、通信、周期性任务和计算粒度。
- GPU 持续繁忙但训练仍慢时,继续检查计算路径、精度、内存、编译和项目特有实现。
- 显存不足时,比较批量、激活、优化器状态和分片代价,不默认增加 GPU 数量。
- 多卡扩展较差时,比较单卡与多卡吞吐,并检查每卡工作量、通信和负载不均衡。
结果说明
简要报告原始情况、实际改动、单项和组合后的大致收益、显存变化、可观察的误差或任务指标变化,以及收益属于局部阶段、稳定训练段、单轮还是更长范围。
不要求默认提供完整证据链、详细性能轨迹或完整训练结果。不得把某个项目的具体实现当成其他项目的默认优化答案。