phd-data-quality

检查科研数据的缺失、重复、单位、泄漏和异常,产出可追溯问题清单与清洗建议

SKILL.md

GitHub

数据质量检查

检查流程

  1. 从用户问题和数据字典确定“一行代表什么”、样本独立单位、主键、时间范围、单位、分组与目标变量。无法确定含义时标记待确认,不凭列名替用户定义。
  2. 保留原件,只对副本分析。记录文件路径、大小、读取方式、行列数和必要的校验值;无法读取全部时说明采样范围。
  3. 区分完全重复、同一对象的合法重复测量、主键冲突;检查缺失编码(空值、-999、N/A)、类型、量纲、合法范围和关联表连接基数。给出分母和受影响行号/键,避免暴露无关个人信息。
  4. 按组、时间和数据划分检查分布差异;关注同一受试者跨训练/测试集、目标信息泄漏、先全量拟合再切分等问题。可疑异常先定位原因,不能因为影响显著性就删除。
  5. 清洗方案列出规则、依据、影响数量和可撤销方式。用户要求实际清洗时输出新文件及变更日志;保留缺失标记,不默认填零、插补或去重。

交付

输出数据概况、按影响排序的问题表、可复核样例、建议规则、未能检查的部分。执行了检查才报告实际数量;没有数据时交付检查计划。分析工具不足时给出所需读取能力并完成可读部分,不假装扫描了附件。

保存与工作台

读取 本地操作约定。交付文件使用用户指定位置,否则放在仓库 outputs/,不覆盖原始材料。仅在用户要求登记/更新时,通过 node cli.mjs 读取当前记录与 version、预检所需批量变化、保存并回读;沿用 PHD_DATA_DIR。AI 方案标注 origin: "ai",外部材料保留来源;生成文档不自动增加论文百分比或把实验设为完成。