ai-computing-research
检索、核验并评估 AI 与计算机科学研究,特别是 LLM、机器学习、NLP、CV、系统、软件工程、数据库、安全、HCI、IR 和数据挖掘。Use for 最新 AI/计算机论文、arXiv 前沿追踪、技术路线比较、代码复现、模型/数据/算力/benchmark 审计;不用于临床有效性判断或一般跨学科检索。
SKILL.mdai-computing-research/SKILL.md
GitHubAI 与计算机研究检索
目标不是找“最热门论文”,而是判断一项技术主张在什么版本、计算预算和评测条件下成立,是否可复现,以及相对已有方法真正新增了什么。
先界定问题
从请求中提取任务、方法、数据/基准、时间窗、部署约束和用户要做的决定。请求清晰时直接检索;“最新”必须写明绝对起止日期。默认同时生成:
- 核心概念及缩写/全称查询。
- 方法 + 任务/benchmark 查询。
- 反证查询:failure、limitation、reproducibility、contamination、ablation 等。
- 近 3–6 个月前沿查询,以及近 2–3 年关键路线/奠基工作查询。
来源路由
- 最新预印本:arXiv;广域发现与引文:OpenAlex,必要时 Semantic Scholar。
- 正式版本与 DOI:Crossref、出版社/会议官网;CS 书目:DBLP。
- 代码、模型、数据集:作者/机构官方仓库、项目页、Hugging Face 或 Papers with Code;仓库存在不等于论文可复现。
- ACM DL、IEEE Xplore 等受访问限制来源,只读取合法可访问的元数据或全文,不绕过权限。
优先定位已安装的 research-toolkit/scripts/researchctl.py 完成共享检索、去重和标识符核验。若不可用,使用当前已有连接器、官方 API 或浏览器并保持统一证据字段。
检索与核验
- 第一轮通常从 arXiv + OpenAlex 取 20–40 条元数据,先按相关性、日期和问题匹配筛到 5–10 条。
- 将 arXiv、技术报告、会议/期刊版本视为同一工作族:去重但保留版本日期、标题变化和结论差异。
- 对承重论文核验题名、作者、日期、venue、DOI/arXiv ID、预印本/同行评审状态、勘误或撤稿标记。
- 检查引用链中的奠基工作、独立复现和最强负面结果;不要只沿作者自引链搜索。
- 只有结论依赖细节时才读全文;先读摘要、实验设置、主表、消融、限制和附录中的计算/数据说明。
技术证据评价
详细核对表见 references/appraisal.md。至少回答:
- 比较是否公平:模型规模、训练数据、token、FLOPs、硬件、推理预算和工具权限是否可比。
- 结果是否稳定:多个 seed、误差区间、统计检验、消融、跨任务/跨分布结果是否齐全。
- benchmark 是否可信:训练污染、测试集泄漏、人工评测盲法、饱和、选择性报告和 judge model 偏差。
- 可复现性如何:代码、权重、数据、配置和许可证是否实际可得;独立团队是否复现。
- 成本是否现实:延迟、吞吐、显存/能耗、API 费用与失败率,不用单一最高分代替部署价值。
不给 venue、引用数或榜单名以决定性权重。新论文低引用不是缺点,知名论文也不能免于方法审计。
输出
先给综合结论及置信度,再给精选论文:
| 论文/版本 | 状态 | 核心新增 | 关键证据 | 复现状态 | 主要限制 | ID |
|---|
随后列出:
- 共识、分歧与最强反证。
- 版本和基准可比性。
- 适合继续阅读/复现的优先级及理由。
- 数据库、查询式、绝对时间范围、筛选数量与访问缺口。
所有具体论文和数字紧邻来源。无法核验的 DOI、arXiv ID、代码链接或性能数字标为“未核验”,绝不补造。
Token 与停止条件
- 先看标题/摘要/元数据,只深读决定结论的少数论文。
- 每篇压缩成:主张—实验—增量—复现—局限—标识符。
- 当新增结果不再改变路线图、主要正反证据均已覆盖、剩余缺口已明确时停止。