phd-reproduce
对照论文和代码核对复现条件,执行有范围的复现实验,逐项比较结果与差异来源
SKILL.mdskills/phd-reproduce/SKILL.md
GitHub论文复现
复现流程
- 锁定论文版本、待复现图表/指标、代码仓库提交、数据版本及授权范围。区分复跑作者代码、独立实现和仅核对结果。
- 建立“论文声明—代码位置—配置—数据划分—指标实现”的对应表;核对预处理、种子、重复次数、超参、检查点与评价集。
- 阅读环境与安装脚本后再执行已授权范围内的必要操作。先检测现有工具与算力;明确预计资源及停止条件,未给定预算时从小规模验证开始,不默认启动长时间训练或下载巨量数据。
- 使用隔离输出目录保存命令、版本、日志、退出状态和原始指标。先验证数据与最小样例,再决定能否按预算跑完整实验;失败日志同样保留。
- 对照相同单位和统计口径比较原论文与本地结果,列绝对/相对差、方差和可比较性。解释候选差异原因,但没有排除实验就标为假设。
- 只有真实执行且有结果与证据,才能按 实验技能 登记完成。仅安装成功、脚本生成、进程启动或低成本冒烟测试都不能称为完整复现。
交付
交付复现条件表、运行记录、结果比较和下一项差异定位。缺代码、数据、工具或预算时给出具体缺口及可完成的部分,不编造一致性结果。
保存与工作台
读取 本地操作约定。交付文件使用用户指定位置,否则放在仓库 outputs/,不覆盖原始材料。仅在用户要求登记/更新时,通过 node cli.mjs 读取当前记录与 version、预检所需批量变化、保存并回读;沿用 PHD_DATA_DIR。AI 方案标注 origin: "ai",外部材料保留来源;生成文档不自动增加论文百分比或把实验设为完成。