paper-review
논문 원고를 표준 기준표(축 일곱, 1~5점 기준 문장, 지적의 크기, 투고처 판)로 모의 심사하고 점수와 지적을 같은 형식으로 낼 때 사용. "심사해 줘", "모의 심사", "리뷰 돌려", "점수 매겨 봐", "심사 기준으로 다시 평가" 같은 요청과 paper-quality-loop의 심사 단계에 적용.
SKILL.mdskills/paper-review/SKILL.md
GitHub모의 심사
원고 하나를 표준 기준표로 한 번 심사한다. 주 산출물은 큰 지적 목록과 A4 세부 진단(논리 구조, 구성과 가독성, 표현)의 할 일 목록이고, 축 점수와 결정 권고는 참고다(rubric.md 머리말). 프로젝트와 원고가 달라도 같은 축, 같은 점수 뜻, 같은 지적 크기, 같은 보고 형식을 쓴다. 그래야 판과 판, 원고와 원고의 점수를 나란히 볼 수 있다. research-session의 공통 규칙을 따른다.
| 이 스킬이 하는 일 | 다른 스킬이 하는 일 |
|---|---|
| 한 번의 모의 심사(심사자 구성, 점수, 지적, 종합) | 심사, 수정, 문체의 반복과 멈춤: paper-quality-loop |
| 실제 심사평 대응: rebuttal | |
| 숫자와 인용 대조: fact-check | |
| 문장 단위 문체: english-academic-style, korean-academic-style |
기준표는 같은 폴더의 rubric.md다. 축의 뜻, 점수 기준 문장, 결정 규칙은 그 파일이 정하고, 이 스킬은 절차를 정한다.
0. 시작 전
- 원고의 판을 고정한다. 커밋 해시나 PDF의 sha256을 심사 폴더에 적는다. 심사 중에 원고를 고치지 않는다.
- 투고처 판을 정한다. 프로젝트에 투고처 판 문서(
docs/설정.md의 심사 절이나 그 절이 가리키는 문서)가 있으면 쓰고, 없으면rubric.md3절의 일반 저널 판이나 학회 판을 쓴다. 투고처 판을 새로 만들 때는rubric.md4절을 따른다. - 원고에 주장 목록(paper-framing 0절)이 있으면 함께 준다. 없으면 A3 판정이 약해진다고 보고에 적는다.
- 심사 폴더:
<원고 폴더>/심사/<회차>/. 회차 이름은 프로젝트의 관례를 따른다. paper-quality-loop 안에서 돌면 그 바퀴 폴더를 쓴다. - 심사자에게 준 지시서 원문을 같은 폴더에
지시서.md로 남긴다. 지시서가 남지 않은 회차의 점수는 다른 회차와 비교하지 않는다. - 확신도는 언제나 매긴다. 종합 점수는 따로 매기지 않고 결정 규칙으로 낸다(
rubric.md1.1절).
1. 심사자 구성
모두 새로 띄운 에이전트다. 앞선 대화, 이전 회차의 심사평, 저자의 대응 기록을 넘기지 않는다.
| 심사자 | 관점 | 주로 보는 축 |
|---|---|---|
| R1 분야 전문가 | 가장 가까운 선행 연구를 아는 심사자 | A1, A2, A5 |
| R2 방법 전문가 | 실험 설계, 통계, 증명, 재현을 보는 심사자 | A2, A3, A6 |
| R3 투고처 편집자 | 투고처 독자와 범위, 분량, 양식을 보는 심사자 | A4, A7, A1 |
- 세 심사자 모두 일곱 축을 다 매긴다. "주로 보는 축"은 지적을 깊게 쓰는 곳일 뿐이다.
- 학회 판은 둘(R1, R2)로 줄여도 된다. 그때는 R1이 A4와 A7도 깊게 본다.
- 학술지 판이면 새 독자(paper-readability 2절)를 하나 더할 수 있다. 새 독자는 점수를 매기지 않고 막힌 곳만 낸다.
- 역할별 모델은 프로젝트 설정을 따른다. 설정이 없으면 세 심사자 모두 큰 모델이다.
- 셋 가운데 하나는 다른 계열 모델로 둔다(기본). 같은 계열 셋은 서로 거의 같게 매겨 갈림이 드러나지 않는다. 다른 계열을 쓸 수 없으면 그 사실을 보고와 종합에 적는다.
- R3은 A4 세부 진단(
rubric.md2.1절)을 가장 깊게 쓴다. 표현과 가독성 힌트가 필요한 원고면 R3의 진단을 먼저 읽는다.
2. 심사자에게 주는 것
- 원고(본문, 부록, 보충)와 판 정보. 학회 판은 익명본.
rubric.md1~2절(2.1절의 A4 세부 진단 포함)과 해당 투고처 판- 주장 목록(있으면)
- 보고 양식(4절)
- 지시: "기준 문장에 맞춰 점수를 매기고, 점수마다 원고의 위치(절, 쪽, 그림, 표)를 근거로 든다. 위치를 들 수 없는 지적은 쓰지 않는다. 원고에 없는 사실을 지어내지 않는다. 고칠 문장을 쓰지 않는다."
3. 지적의 크기
| 크기 | 뜻 | 예 |
|---|---|---|
| 큰 지적 | 고치지 않으면 결론이 서지 않는다 | 주장을 증거가 받치지 못함, 증명이나 계산이 틀림, 해석이 틀림, 숨은 전제로 결론이 달라짐, 비교군이 없음, 가장 가까운 선행 연구와의 차이가 불분명함, 재현에 필요한 정보가 없음 |
| 작은 지적 | 결론은 서지만 심사에서 감점되는 결함 | 범위 한정 누락, 중요한 실험 조건 누락, 그림과 표가 주장을 직접 받치지 못함, 서론의 약속을 본문이 갚지 않음 |
| 표현 지적 | 읽기와 형식 | 문장, 배치, 용어 불일치, 오탈자, 양식 |
- 큰 지적에는 "치명"이나 "고칠 수 있음"을 붙인다. 치명 지적이 있는 축은 3점을 넘을 수 없고, 고칠 수 있는 큰 지적만 있으면 4점까지 줄 수 있다(
rubric.md2절). - 큰 지적과 작은 지적은 지적마다 "무엇을 고치면 풀리는가"를 한 줄로 적는다.
- 큰 지적의 정의는 paper-quality-loop 1절과 같다. 한쪽을 고치면 다른 쪽도 고친다.
4. 보고 양식 (심사자마다)
심사자: R1 | 원고 판: <해시> | 투고처 판: <이름> | 기준표 판: <n> | 확신도(1~5): n
| 축 | 점수 | 근거(원고 위치와 한 줄) |
| A1 기여 | n | ... |
| ... A7 | n | ... |
지적
| 번호 | 크기(큰-치명, 큰-고칠 수 있음, 작은, 표현) | 축 | 위치 | 지적 | 풀리는 조건 |
A4 세부 진단 (rubric 2.1절)
| 항목 | 판정(맞음, 가벼움, 고칠 곳, 해당 없음) | 잰 값(G2, E2, E3) | 위치 | 힌트 또는 본보기 |
권고: <투고처 판의 결정 이름>
요약: 세 문장 이하
5. 종합 (총괄)
- 축마다 점수의 중앙값과 범위(최대 빼기 최소)를 낸다.
- 범위가 2 이상인 축은 "갈림"으로 표시하고, 두 심사자의 근거를 나란히 적는다. 총괄이 점수를 고쳐 주지 않는다.
- 큰 지적을 모두 모아 같은 것끼리 묶는다. 둘 이상의 심사자가 낸 큰 지적은 "합의된 큰 지적"이다. 묶은 지적의 치명 여부는 심사자 다수를 따르고, 갈리면 고칠 수 있음으로 두고 갈렸다고 적는다. 하나만 낸 큰 지적도 버리지 않고, 총괄이 원고와 원자료를 대조해 맞는지 적는다. 3a. A4 세부 진단을 항목마다 모은다. 순서는 셋 모두 "고칠 곳"으로 본 항목, 둘이 "고칠 곳"으로 본 항목, 그 밖에 "가벼움"이 둘 이상인 항목이다. 같은 순위 안에서는 견본 표시가 "가름"인 항목을 앞에, "늘"인 항목을 뒤에 둔다. 힌트와 본보기를 함께 적는다. 이 표가 표현, 가독성, 논리 구조를 고칠 때의 할 일 목록이 된다(paper-readability 4절 2번으로 넘긴다).
- 권고는 투고처 판의 결정 규칙을 축 중앙값과 합의된 큰 지적에 그대로 적용해 낸다. 심사자 권고의 다수결과 다르면 둘 다 적는다. 견본 기준선(
rubric.md5절)이 있으면 원고의 축 중앙값을 기준선과 나란히 적는다. - 결과를
<심사 폴더>/종합.md에 쓴다. 심사자 보고는 같은 폴더에R1.md,R2.md,R3.md로 둔다.
6. 기준표의 일치도 관리
- 같은 회차에서 어떤 축이 "갈림"이면 그 축의 기준 문장이 모호할 수 있다. 서로 다른 원고나 회차에서 같은 축이 두 번 갈리면
rubric.md의 기준 문장을 고칠 후보로 적는다. - 기준표를 고치면 판 번호를 올린다. 점수는 같은 판의 기준표끼리만 비교한다.
- 처음 쓸 때는 같은 원고를 새 심사자 둘에게 따로 매기게 해 축마다 일치를 본다(1점 이내 일치율이나 가중 kappa). 일치가 낮은 축은 기준 문장부터 고친다.
- 실제 심사평을 받으면(rebuttal) 모의 심사의 축 점수와 지적을 실제 심사와 나란히 적어 둔다. 결정 규칙이 실제 결정과 얼마나 맞는지는 이 기록으로만 알 수 있다.
7. 다른 기준과의 연결
- A4(명료성과 구성)는 paper-readability의 잣대와 english-academic-style 7절(출판 논문 견본의 범위)을 참고한다. 프로젝트에 문장 지표 측정 스크립트가 있으면 숫자를 근거에 붙인다.
- A3(주장과 증거)는 fact-check와 겹친다. 숫자의 맞고 틀림은 fact-check가 판정하고, 이 스킬은 주장의 크기가 근거에 맞는지를 본다. paper-framing 1절과 3절의 의도적 규칙(초록과 결론의 주장을 근거보다 넓게 쓰지 않는다)이 A3의 기준이다.
8. 하지 않을 것
- 원고를 고치지 않는다. 고치는 일은 paper-quality-loop의 실행 단계다.
- 점수로 투고 여부를 대신 정하지 않는다. 결정은 사용자가 한다.
- 모의 심사평을 실제 심사평처럼 꾸며 외부에 내지 않는다.
- 이전 회차 심사평을 심사자에게 넘기지 않는다(같은 지적의 되풀이와 점수 고착을 막는다).
9. 보고
틀은 research-session 8절의 마침 보고다. 결과 줄에 아래를 넣는다.
원고 : <판> | 투고처 판: <이름> | 기준표 판: <n>
점수 : A1 n | A2 n | A3 n | A4 n | A5 n | A6 n | A7 n (중앙값, 갈림 표시)
지적 : 큰 n(합의 n, 치명 n) | 작은 n | 표현 n
A4 진단: 고칠 곳 n(셋 합의 n, 둘 합의 n) | 가벼움 n. 앞의 세 항목과 힌트
기준선 : 견본 축 중앙값과의 차. 없으면 "기준선 없음"
권고 : <규칙 적용 결과> (심사자 권고: <R1>, <R2>, <R3>)
다음 : <큰 지적 풀기 / 문체 / 투고 준비>