phd-research-code

检查实验代码中的数据泄漏、指标实现、随机性与可复现性,用小样例验证关键科研逻辑

SKILL.md

GitHub

科研代码检查

检查流程

  1. 读取仓库约定、运行入口、研究方法说明及用户关注的问题。先追踪数据输入、划分、训练/处理、评价、输出这条路径,不泛化成无关的大规模重构。
  2. 逐项核对预处理是否只在训练集拟合、同一对象是否跨划分、标签与索引是否对齐、指标方向和平均口径是否一致,以及基线是否使用公平条件。
  3. 检查随机种子、确定性限制、依赖版本、检查点恢复、配置覆盖、缓存和失败重试,找出可能导致不可复现或静默使用旧结果的情况。
  4. 用能人工算出答案的小数据验证关键指标、数据划分与边界条件;测试应能捕获实际科研错误,而非重复实现本身。发现问题给出文件位置、触发条件及对结论的影响。
  5. 用户要求修复时做局部修改,运行针对性检查,保留原结果文件;必要时说明哪些历史结果需要重跑。修复代码不会自动证明原论文结论成立。

交付

按影响排序的发现、证据与修复/验证结果;清楚标注已执行、静态分析和待复跑项。工具或数据缺失时完成静态检查,不伪称运行通过。

保存与工作台

读取 本地操作约定。交付文件使用用户指定位置,否则放在仓库 outputs/,不覆盖原始材料。仅在用户要求登记/更新时,通过 node cli.mjs 读取当前记录与 version、预检所需批量变化、保存并回读;沿用 PHD_DATA_DIR。AI 方案标注 origin: "ai",外部材料保留来源;生成文档不自动增加论文百分比或把实验设为完成。