experiment-protocol
Run a comparison between several candidate solutions honestly: freeze the contract, fan out isolated producers, judge blind, and end in a human decision. Use for EXP tasks, for A/B of two approaches,
SKILL.md.claude/skills/experiment-protocol/SKILL.md
GitHubexperiment-protocol
Experimento existe para produzir diferença observável, não consenso. Se os candidatos conversam, você mediu convergência, não qualidade.
1. Congele o contrato antes de produzir
Escreva, antes de qualquer candidato: o que é fixo (tokens, escopo, restrições), o que é livre, e os eliminatórios — critérios que reprovam sozinhos, decididos de antemão. Critério inventado depois de ver o resultado não é critério, é justificativa.
2. Fan-out isolado
- Cada produtor trabalha sozinho, sem ver os outros candidatos e sem conversar com eles.
- Mesmo contrato, mesmo baseline, mesma fronteira de arquivos para todos.
- Nenhum produtor sabe quantos candidatos existem nem quem produz os outros.
Este é o ponto em que a maioria dos harnesses erra: colaboração entre produtores gera erro correlacionado, e erro correlacionado desaparece na comparação.
3. Julgamento cego
- Candidatos chegam ao juiz como
A,B,C— sem autor, sem modelo, sem ordem de produção. - O juiz é read-only e não produziu candidato nenhum.
- Ordem: eliminatórios → medida objetiva → ofício (argumentado, e marcado como argumento).
- Nenhum candidato passa os eliminatórios? O resultado é
NENHUM, não o menos ruim.
4. Decisão
O juiz entrega ranking, distância entre candidatos e a pergunta que sobra. Quem escolhe é o coordenador, sob o mandato do dono de 02/11/2026: registra a escolha, o motivo e a pergunta que sobrou no card, e o dono vê o resultado no marco seguinte. O juiz nunca escolhe — juiz que escolhe virou implementação disfarçada de método.
Caso especial: medir uma skill
Uma skill nova é uma hipótese, não uma melhoria. Meça antes de adotar:
- mesma tarefa, N repetições, com e sem a skill;
- asserções decididas antes: defeito real encontrado, falso positivo, item de aceitação coberto;
- custo também é resultado: tokens e tempo entram na comparação.
A skill entra em definitivo se justificar o próprio custo. Se não justificar, ela sai — instrução que não evita erro real só ocupa contexto.