fact-check
원고나 문서를 고친 뒤 숫자, 인용, 부등호, 헤지, 정의된 용어가 고정판과 같은지 대조하거나, 원고의 숫자를 원자료와 숫자 대장으로 다시 계산할 때 사용. "사실 대조", "숫자 맞는지 봐줘", "고친 뒤 바뀐 것 없나", "인용 확인" 같은 요청과 원고를 고치는 다른 스킬의 마지막 단계에 적용.
SKILL.mdskills/fact-check/SKILL.md
GitHub사실 대조
원고를 고치는 일(문체 정리, 줄이기, 가독성, 심사 대응)은 사실을 바꿀 수 있다. 이 스킬은 고친 원고가 고정판과 같은 사실을 말하는지, 원고의 숫자가 원자료와 맞는지, 인용이 실재하고 맞는지를 확인한다. research-session의 공통 규칙을 따른다. 누가 대조하는지는 공통 규칙 3을 따른다.
1. 고정판 대비 대조
고정판(마지막으로 사용자가 승인한 판, 또는 이번 수정 직전 판)과 고친 판을 절 단위로 비교한다.
| 항목 | 비교 방법 | 통과 |
|---|---|---|
| 숫자 | 절마다 숫자 토큰의 다중집합 | 차이 0, 또는 차이마다 행방이 적혀 있음 |
| 인용 | \cite 키 다중집합, 참고문헌 항목 |
차이 0, 또는 빼고 더한 이유가 있음 |
| 부등호와 한정어 | ≤ ≥ < >, 이하, 미만, 넘는, at most, at least | 개수와 방향이 같음 |
| 헤지 | ~할 수 있다, ~로 보인다, may, might, about | 개수가 같고 강도가 올라가지 않음 |
| 정의된 용어 | 용어표의 이름마다 출현 | 한 대상 한 이름 유지 |
| LaTeX 명령 | \ref, \label, 수식 환경 |
차이 0 |
지운 숫자마다 행방을 하나로 적는다: 중복(같은 값이 다른 곳에 남음), 파생(남은 값에서 바로 계산됨), 표로 이동, 삭제(사용자 승인). 행방이 없는 차이는 되돌린다.
숫자 다중집합은 스크립트로 센다. 예:
import re, collections, sys
num = re.compile(r'(?<![\w.])[-+]?\d[\d,]*(?:\.\d+)?%?')
def bag(path):
return collections.Counter(num.findall(open(path, encoding='utf-8').read()))
a, b = bag(sys.argv[1]), bag(sys.argv[2])
print('빠진 것', dict(a - b)); print('생긴 것', dict(b - a))
2. 원자료 검산
원고의 숫자가 원자료와 맞는지 확인한다.
- 숫자 대장을 쓴다. 원고의 숫자마다 매크로나 번호, 원천 파일, 계산식, 커밋 해시를 적은 표다. LaTeX 원고라면 숫자를 매크로로 두고(
numbers.tex) 원천 표(numbers-source.tsv)와 잇는 방식이 가장 확실하다. - 독립 검산 에이전트에게 규칙 문서, 원자료, 숫자 대장만 주고 다시 계산하게 한다. 집계 코드와 앞선 대화는 주지 않는다.
- 총괄이 두 값을 대조한다. 불일치 0이 통과다.
- 해석 검산을 따로 한다. 숫자가 맞아도 문장이 틀릴 수 있다. 숫자를 쓴 문장마다 모집단, 분모, 비교 대상, 방향, 한정이 원자료와 맞는지 본다.
- 원고의 서술과 기록이 맞는지 본다. 판정자, 날짜, 방법, 표본 수를 원고와 원자료 기록이 다르게 적은 곳이 있으면 고친다. 원고와 자료가 어긋나는 것은 자료를 공개하지 않는 것보다 나쁘게 읽힌다.
- 결과 전에 고정했다는 문장(사전 등록, 봉인, 집계 전 고정)은 preregister-seal의 봉인 목록과 이탈 기록과 대조한다. 봉인 시각이 결과보다 늦거나 원고에 없는 이탈이 있으면 고친다.
3. 인용 검증
- 참고문헌의 항목마다 직접 연 링크가 있는지 본다. 없으면 열어서 제목, 저자, 연도, 게재처를 대조한다.
- 본문이 인용한 정리, 수치, 문장은 원문에서 글자 그대로 대조한다. 요약 도구가 준 문장은 쓰지 않는다.
- 확인 수준(본문 확인, 초록만 확인, 열지 못함)을 적는다. 열지 못한 문헌에 기대는 문장은 사용자에게 알린다.
- 표본 크기: 핵심 인용(주장의 근거, 비교 대상)은 전부, 나머지는 다섯 개 이상.
4. 보고
틀은 research-session 8절(시작 안내, 진행판, 마침 보고)을 따른다. 아래는 이 스킬의 보고에 들어갈 내용의 예다.
== 끝 | <프로젝트> | 사실 대조: 원고 v12 대 고정판 v11 | HH:MM (걸린 시간 n분, 어림 n분) ==
결과 : 숫자 빠진 것 4(중복 2, 표로 이동 2), 생긴 것 0
인용 차이 0, 부등호 차이 0, 헤지 차이 1(되돌림)
확인 : 원자료 검산 대조 312개 불일치 0, 해석 검산 문장 41개 고칠 곳 2
인용 검증 18건 불일치 0, 열지 못함 1
바뀐 것: 대조표 1, 숫자 대장 1 (아래 링크)
남은 것: 열지 못한 인용 1건(사용자에게 요청), 해석 문장 2곳
다음 : 해석 문장 2곳을 고친 뒤 다시 대조
대조표와 숫자 대장은 원고 폴더의 기록으로 남긴다. 만든 파일은 답에서 바로 열 수 있게 보인다.