ai-computing-research

检索、核验并评估 AI 与计算机科学研究,特别是 LLM、机器学习、NLP、CV、系统、软件工程、数据库、安全、HCI、IR 和数据挖掘。Use for 最新 AI/计算机论文、arXiv 前沿追踪、技术路线比较、代码复现、模型/数据/算力/benchmark 审计;不用于临床有效性判断或一般跨学科检索。

SKILL.md

GitHub

AI 与计算机研究检索

目标不是找“最热门论文”,而是判断一项技术主张在什么版本、计算预算和评测条件下成立,是否可复现,以及相对已有方法真正新增了什么。

先界定问题

从请求中提取任务、方法、数据/基准、时间窗、部署约束和用户要做的决定。请求清晰时直接检索;“最新”必须写明绝对起止日期。默认同时生成:

  1. 核心概念及缩写/全称查询。
  2. 方法 + 任务/benchmark 查询。
  3. 反证查询:failure、limitation、reproducibility、contamination、ablation 等。
  4. 近 3–6 个月前沿查询,以及近 2–3 年关键路线/奠基工作查询。

来源路由

  • 最新预印本:arXiv;广域发现与引文:OpenAlex,必要时 Semantic Scholar。
  • 正式版本与 DOI:Crossref、出版社/会议官网;CS 书目:DBLP。
  • 代码、模型、数据集:作者/机构官方仓库、项目页、Hugging Face 或 Papers with Code;仓库存在不等于论文可复现。
  • ACM DL、IEEE Xplore 等受访问限制来源,只读取合法可访问的元数据或全文,不绕过权限。

优先定位已安装的 research-toolkit/scripts/researchctl.py 完成共享检索、去重和标识符核验。若不可用,使用当前已有连接器、官方 API 或浏览器并保持统一证据字段。

检索与核验

  1. 第一轮通常从 arXiv + OpenAlex 取 20–40 条元数据,先按相关性、日期和问题匹配筛到 5–10 条。
  2. 将 arXiv、技术报告、会议/期刊版本视为同一工作族:去重但保留版本日期、标题变化和结论差异。
  3. 对承重论文核验题名、作者、日期、venue、DOI/arXiv ID、预印本/同行评审状态、勘误或撤稿标记。
  4. 检查引用链中的奠基工作、独立复现和最强负面结果;不要只沿作者自引链搜索。
  5. 只有结论依赖细节时才读全文;先读摘要、实验设置、主表、消融、限制和附录中的计算/数据说明。

技术证据评价

详细核对表见 references/appraisal.md。至少回答:

  • 比较是否公平:模型规模、训练数据、token、FLOPs、硬件、推理预算和工具权限是否可比。
  • 结果是否稳定:多个 seed、误差区间、统计检验、消融、跨任务/跨分布结果是否齐全。
  • benchmark 是否可信:训练污染、测试集泄漏、人工评测盲法、饱和、选择性报告和 judge model 偏差。
  • 可复现性如何:代码、权重、数据、配置和许可证是否实际可得;独立团队是否复现。
  • 成本是否现实:延迟、吞吐、显存/能耗、API 费用与失败率,不用单一最高分代替部署价值。

不给 venue、引用数或榜单名以决定性权重。新论文低引用不是缺点,知名论文也不能免于方法审计。

输出

先给综合结论及置信度,再给精选论文:

论文/版本 状态 核心新增 关键证据 复现状态 主要限制 ID

随后列出:

  • 共识、分歧与最强反证。
  • 版本和基准可比性。
  • 适合继续阅读/复现的优先级及理由。
  • 数据库、查询式、绝对时间范围、筛选数量与访问缺口。

所有具体论文和数字紧邻来源。无法核验的 DOI、arXiv ID、代码链接或性能数字标为“未核验”,绝不补造。

Token 与停止条件

  • 先看标题/摘要/元数据,只深读决定结论的少数论文。
  • 每篇压缩成:主张—实验—增量—复现—局限—标识符。
  • 当新增结果不再改变路线图、主要正反证据均已覆盖、剩余缺口已明确时停止。