precision-debugger
在遇到模型精度问题,需要分析定位时使用。典型的精度问题包括回复输出中有乱码或重复、精度测评不达标等。
SKILL.mdskills/accuracy/precision-debugger/SKILL.md
GitHub精度问题调试SKILL
本SKILL提供一套系统化的方法,用于定位和修复模型精度问题,特别是推理场景。在不具备调试条件时,仅给出相关建议。
典型触发场景:
- 输出乱码或复读
工作流
阶段1:背景信息收集
需要从用户处获取的信息应包括:
- 问题现象
- 是否有其它数据可供分析?例如dump数据
- 是否需要基于代码进行分析?如果需要,请提供代码路径以及模型信息
- 是否允许直接调试?如果允许,请提供调试环境以及问题复现步骤
- 其它线索或怀疑方向
注意:
- 完成阶段1后,才允许进入阶段2
阶段2:
阅读精度问题汇总,查看是否有相似精度问题可供参考。
基于用户输入信息,开始问题分析。
若不允许直接调试,则直接到阶段3;若允许直接调试,则开始调试定位,直到问题解决,或无法继续。
阶段3:输出报告
整理以上分析定位过程,输出报告,保存到markdown文件中。
注意事项
不允许:
- 删除文件
必须:
- 对文件的任何修改操作,包括文件内容的增删改,新文件的创建,旧文件的重命名等,都记录在日志文件中