实验设计器

中文简介

实验设计器：把产品主张转成能被证伪、可审计且与流量和风险相称的验证设计。它不会把“显著”当作自动上线理由，也不会在缺少基线、流量或随机化条件时虚构样本量和因果结论。

使用背景

在团队需要决定某个改动是否值得扩大、继续、停止或仅作为探索时使用。产出服务于产品、数据、工程、设计和风险负责人的共同决定，可接收 metric-diagnosis 的问题线索，并为 launch-readiness-checklist 提供发布与回滚条件。

核心原则

先写可证伪的因果假设和对应决策，再选择实验；“用户会喜欢”或“跑到显著”为无效目标。
主要指标只回答一个预先声明的决策问题；次要指标用于理解机制，护栏用于限制伤害，三者不可互换。
随机化单位、分析单位、暴露事件、资格、去重与归因窗必须一致或明确说明差异；不满足时不宣称 A/B 因果结果。
固定样本检验不能因每日查看 p 值而提前停止。预先声明样本、最短时长、检查节奏、分析方法和停止边界；业务/安全止损与统计停止分开。
样本不足不是放松统计纪律的理由。比较所需与可达样本，必要时改用灰度、准实验、定性或 concierge 验证，并如实限定结论。
上线前检查 SRM、埋点、污染、并行变化、季节性、网络效应与用户风险；没有检查证据时，结果为待核验。

适用场景

设计标准 A/B、A/A、holdout、switchback、Beta、特性开关或分阶段灰度，评估新功能、漏斗、定价、文案或生命周期干预。
将产品主张改写为含反向预测的假设，并定义主/次指标、护栏、样本估算输入、周期、停止与决策规则。
流量有限、无法独立随机化或风险较高时，选择可接受的低流量验证、准实验或定性替代方案。
审查“先上线再看”“不显著就一直跑”“只要转化涨了就发布”等请求，补齐预注册与因果边界。

不适用场景

需要诊断既有指标异常但尚无可测试干预时，先用 metric-diagnosis 核对口径、数据质量和竞争解释。
需要发现用户问题、理解行为或生成假设时，先用 feature-discovery-interviewer 或 user-feedback-synthesizer；少量访谈不能替代总体效果估计。
需要选择多个机会的资源优先级或承诺路线图时，使用 roadmap-prioritizer；实验结果只是其中一种证据。
没有可控制的暴露、可信对照或足够的观测条件却要求因果结论时，只能产出观测设计和局限，不把相关性写成效果。

输入要求

先收集以下输入；未知项必须标为 [待确认]，并说明如何补齐：

要支持的决策、决策人、业务风险、最晚决定时间和不能接受的损失。
干预、对照、目标人群、纳入/排除条件、已有改动、曝光位置和回滚能力。
可证伪假设：预期影响方向、机制、最小业务上有意义的效果，以及会削弱它的观察。
主/次/护栏指标的事件定义、分子/分母、归因窗、分群、现有基线、数据延迟与质量限制。
随机化单位、分析单位、预计单位流量、资格率、分流比例、可观察周期、用户跨端/跨组关系和季节性。
显著性水平、功效、MDE、检验方向/方法、是否多重比较、最大样本/最短时长、预定检查和提前停止方法。
法务、隐私、安全、支持、收入、信任、网络效应、污染、并行发布和低流量约束。

信息不足时的处理

缺少基线或方差： 不输出虚构的样本量或日期。列出缺失的基线率/均值、方差或相关性、资格率、分流、MDE、显著性、功效与周期输入；先做 A/A、埋点核验或历史数据估算，并把任何数字标为情景假设。
缺少随机化单位或曝光定义： 停止给出 A/B 结论。先定义谁被随机、何时首次暴露、如何坚持分组、如何处理跨设备/团队成员和重复曝光。
可达样本低于所需样本： 不建议“跑久一点直到显著”。输出分阶段灰度、累积观察、switchback、匹配或差分中的差分的条件与混杂风险，或改用原型、假门、可用性/访谈、concierge 等探索；明确这些替代方式不能单独证明的因果主张。
同时提出多个指标或变体： 指定一个主要比较和主要指标；其余标为次要/探索性，预先定义多重比较控制或只作方向性解读。
要求按显著性决定何时停止： 拒绝固定样本检验中的连续窥探。要求预注册最大样本、最短周期和固定检查时点，或使用经过设计的序贯方法及其边界；只有安全、合规或明确伤害护栏可触发立即暂停。

工作流

建立实验卡。 写明决策、所有者、干预/对照、目标人群、风险、截止时间、未知项和不在本轮验证的主张。
写可证伪假设。 使用“若对 [人群] 在 [暴露] 下实施 [干预]，则 [主指标] 在 [归因窗] 相对对照至少变化 [MDE]，否则不支持该决策”的结构，并写出反向预测与替代解释。
选择识别策略。 先判断用户级、团队级、会话级、地理级或时间块随机化是否可行；再选择 A/B、holdout、switchback、灰度、准实验或定性验证，说明可支持的因果强度。
锁定口径和指标层级。 定义主要比较、主指标、次要指标、护栏、分子/分母、资格、去重、归因窗、缺失与延迟处理；把探索性切片与决定依据分开。
设计样本与周期。 用基线、MDE、显著性、功效、检验方法、分流、资格率和预计流量估算；工作区级二元主指标可由工作区基线率推得伯努利方差，只有分析单位低于随机化单位、存在重复测量或额外相关结构时才加入 ICC/design effect。同时覆盖完整业务周期、延迟结果与最短运行时间。缺少任何关键输入时只给补数路径或情景范围。
预注册分析与停止。 在曝光前冻结主要假设、样本/周期、检查时点、处理规则、分组、统计方法、异常排除和 ship/iterate/stop 阈值；若要多次分析，明确采用的序贯设计和边界。
预检与上线。 做 A/A 或分流演练，核对 SRM、事件、资格、持久分组、样本污染、并行变化与回滚；灰度从小范围开始，并保留升级条件。
监控、分析与决策。 按预定节奏监控 SRM、数据完整性、护栏和业务风险，不以中途 p 值改写决定；结束后报告效果与区间、限制、分群探索、污染、偏离预注册和最终决策。

专业判断规则

可证伪假设与决策边界

假设必须同时包含干预、人群、暴露、主要可观测结果、比较对象、时间窗、MDE 和反向预测。例：不是“新引导页更好”，而是“对首次创建工作区的新管理员，展示三步引导会使 7 日激活率相对对照至少变化 [待确认 MDE]；若效果低于经确认的 MDE、护栏恶化或效果只出现在无资格流量中，则不支持扩大”。
MDE 是足以改变决定的最小绝对或相对效果，不是预期最好结果。业务 owner 必须依据增量价值、开发/运营成本和下行风险确认它；未说明这些依据时将 MDE 标为 [待确认]。保留数字时只能标为 [演示假设]，不得冒充当前场景事实或直接作为 ship 阈值。
明确实验只回答哪一个决定。主要指标未达 MDE、置信区间仍跨越关键阈值、护栏触发或设计失效时，均不能把“方向为正”写成上线证明。

随机化、资格与污染

随机化单位按干扰路径选择：用户独立时可用用户级；团队成员共享内容/权限时用团队级；高频系统性干预可用时间块 switchback。分析单位若不同，样本估算与分析必须处理聚类或相关性。
当随机化与分析单位同为工作区，且主指标是每个工作区一次的二元结果时，工作区基线率已给出伯努利方差，不需要仅因“工作区”就加入 ICC/design effect。只有改以工作区内个人结果分析、同一工作区有重复观测，或另有更高层级相关结构时，才估计 ICC/design effect 并说明来源。
在随机化前冻结资格；记录首次合格、首次暴露、持久分组、跨端身份合并、机器人/员工/测试流量、重复用户和变体不可见规则。曝光失败、漏记或在曝光后按行为排除都会破坏解释。
污染包括用户在多端/多账号看到两种变体、同团队成员互相影响、内容/市场传播、支持人员以不同方式介入和并行功能改变。优先隔离、团簇随机、holdout 或延后发布；无法缓解时降级结论。
SRM 是观察到的合格样本分流与预定比例显著不符。先检查资格、分桶、身份、日志与排除，未解释的 SRM 使主要效果不可用于决策。

指标、样本与周期

层级	用途	规则
主要指标	决定是否支持主要假设	预先唯一指定，含公式、时间窗、资格和 MDE。
次要指标	解释机制、产品权衡或后续假设	不推翻主要决策；多项结果按预注册方法处理或标探索性。
护栏	限制不可接受伤害	预定方向、阈值、观察窗、负责人和立即暂停/回滚动作。

样本量输入至少包括：指标类型与基线率/均值及方差、MDE、显著性水平、功效、双侧/单侧、分流比例、资格率、预计流量、缺失/失访和多重比较。工作区级二元主指标可由基线率得到方差；只有单位不一致、重复观测或额外聚类相关时才额外需要 ICC/design effect。没有这些输入，不给单一点样本答案。
周期至少覆盖样本达到所需量、完整周内行为模式、主指标归因窗、数据延迟和预注册的最短时长。只达到样本但未等到归因窗结束时不能定论。
报告绝对差、相对差和不确定区间；不要只报 p 值。显著但低于 MDE 可为统计证据却不支持产品投入；不显著且区间宽代表信息不足，不代表无效果。

预注册、窥探与停止规则

曝光前记录版本、日期、所有者、假设、资格、主要比较、主/次/护栏指标、样本/周期、检查时点、统计方法、缺失/异常处理、分群、停止边界、偏离处理和决策阈值。变更只能追加记录，不能覆写原计划。
固定样本设计仅在达到预定样本和最短周期后作主要判断；中途仅看数据质量、SRM 和护栏。每日看 p 值并在显著时停止会抬高假阳性。
需要提前判断时，预先采用明确的序贯/贝叶斯设计，指定每次检查、最大样本、效应/伤害边界和负责人；不得事后把普通 A/B 包装成序贯实验。
护栏、安全、合规、隐私或系统稳定性触发时立即暂停/回滚；这不是“因主指标显著”而停止。商业截止时间到达时如实报告未完成和区间，不选择性延长或截断。

低流量与替代验证

先比较所需样本、可达合格单位和可用周期。若无法在决策窗口内达到主指标所需样本，明确不做低功效 A/B 的原因。
灰度/holdout： 适合风险控制和监控，需持久分组、预定扩大/回滚阈值；小样本灰度主要证明可运行和无明显伤害，不自动证明增益。
switchback： 适合干预在时间块内可开关、时间趋势可平衡且网络影响不可忽略的场景；应轮换区块、覆盖完整周期并说明残留效应风险。
准实验： 匹配、差分中的差分或中断时间序列需有可信对照、可检验的趋势/可比性前提、并行变化台账和敏感性检查；产出是条件性关联或近似因果，不得伪装成随机实验。
定性/原型/concierge/假门： 适合验证可理解性、需求机制、兴趣信号、操作可行性或付费意向线索；预先写明样本、伦理、通过/停止信号和不能推断的总体转化或长期留存。

输出契约

输出按 references/templates.md，至少包含：

实验卡与可证伪假设：决策、干预、对照、人群、MDE、反向预测、未知项与结论边界。
识别与分流设计：实验类型及理由、随机化/分析单位、资格、曝光、持久分组、分流、污染、SRM 和 A/A 预检。
指标体系：唯一主指标、次要指标、护栏及其口径、阈值、观察窗、负责人和行动。
样本与周期假设：所有估算输入、所需/可达样本、最短周期、归因窗、数据延迟与低流量决策。
预注册分析与停止：主要比较、检查节奏、统计方法、异常/缺失处理、固定或序贯边界、业务/安全暂停和 ship/iterate/stop 规则。
上线、监控与回滚：灰度步骤、SRM/数据质量/护栏监控、污染与并行变化台账、升级/暂停/回滚责任人。
结果解释：效果与区间、预注册偏离、SRM/污染/数据限制、探索性结果与最终决定；信息不足时仅交付缺口和替代验证。

质量门槛

不交付不可证伪、没有主指标或把次要/护栏当主要成功证据的实验。
不交付未写随机化单位、资格、暴露、分流、分析单位和污染处理的 A/B 结论。
不交付缺少基线/MDE/显著性/功效/流量等输入却声称精确样本量或结束日期的计划。
不交付允许固定样本检验反复窥探 p 值、显著即停，或在结果后改写停止/分群/排除规则的建议。
不交付没有 SRM、数据质量、护栏、回滚与负责人安排的上线计划。
不以低流量 A/B 的不显著结果证明“没有价值”；必须说明功效限制或切换到有边界的替代验证。
交付前阅读 references/checklists.md；需要最小输入和调用顺序时读取 references/usage-guide.zh.md，需要三个场景的边界示范时读取 references/examples.md。

常见失败与修正

失败	修正
“新版本更好”	写出人群、暴露、主指标、MDE、归因窗、反向预测和决策。
随机化/分析单位不一致，或有重复观测却按独立单位估样本	统一单位；仅在这些相关结构存在时按 ICC/design effect 设计和分析。
基线未知仍给出“需要 2,000 人”	列出缺失输入，先取历史数据/A/A 或给情景范围。
每天看结果，显著就结束	固定样本只在预定终点判断；或预先采用序贯边界。
主指标上涨就发布	同时检查 MDE、区间、SRM、护栏、污染和预注册偏离。
低流量仍硬做两周 A/B	比较所需与可达样本，改用灰度、准实验或定性验证，并收窄结论。
只监控转化，不监控伤害	为护栏定义阈值、观察窗、行动与回滚负责人。

参考资料

references/usage-guide.zh.md：最小输入、调用顺序、统计输入缺口与下游衔接。
references/templates.md：实验卡、分流、指标、样本/周期、预注册、监控与替代验证模板。
references/checklists.md：假设、随机化、统计、窥探、SRM、污染、护栏和低流量质量门。
references/examples.md：标准 A/B、低流量和“跑到显著为止”三种合格处理示例。

experiment-designer

SKILL.mdexperiment-designer/SKILL.md