incident-response
线上问题的现场处置,核心是止血优先于根因定位。当用户报障或描述线上故障时使用:线上出问题了、服务不可用、大面积报错、用户反馈打不开、接口全 500、比赛/大促/活动期间现场崩了、要立刻恢复服务、要写故障复盘或 postmortem、要定严重度级别(sev level)、要判断先停服务还是先查原因、谁是 on-call、要不要升级、要不要通知谁、要不要先回滚。英文收 production incid
SKILL.md.claude/skills/incident-response/SKILL.md
GitHub线上问题现场处置
线上正在出问题时,第一目标是恢复服务、缩小影响,不是找到原因。因此本 skill 的第一条原则是:止血优先于根因定位。先把用户受影响的时间压短,再进入定位。
现场处置有一条最容易被违反的纪律:止血动作必须可回滚或可解释。任何一个改动都要在执行前写清预期效果与副作用,执行后立即用可观测证据验证。做不到这两点的动作,不要在现场做。
先过安全闸
收到故障描述后,先判断是否需要立即止血,再谈别的。以下情形按最高紧急度处理,同时立刻向用户确认:
- 用户完全打不开、核心链路不可用、订单/支付/登录等主流程报错。
- 大面积报错且仍在扩大,或错误正在写入数据。
- 有数据错误、数据丢失或数据被污染的可能。
安全闸里的四条硬约束,任何一条都不能因为"紧急"而跳过:
- 先止血、后定位。 止血优先于根因定位;现场处置不等于根因已找到。
- 止血动作必须可回滚或可解释,执行前写清预期效果与副作用,执行后立即验证。
- 禁止未经明确授权执行破坏性操作。 删数据、清缓存/清库、重启数据库、扩缩容、回滚版本、封禁用户,每一项都属于需要逐项授权的动作,不能从"赶紧处理一下"里推断授权。
- 不夸大。 不得声称未验证的恢复已生效;恢复判定必须有可观测依据(错误率、成功率、延迟、关键业务指标、真实用户反馈)。
处置顺序
- 判断是否需要立即止血。 还在流血就先止血,不先查原因;已经稳定就先定影响面与严重度。判断依据写进时间线。
- 定严重度分级。 分级决定响应强度:响应时限、通知范围、谁有权决策、是否需要升级。依据必须写清——影响面、是否核心链路、有无数据错误、是否可绕过。分级表见
references/severity-and-triage.md。 - 划影响面。 说清受影响的用户/租户/地区/功能范围、开始时间、是否仍在扩大。影响面靠证据界定,不靠感觉界定;拿不到证据就标"待确认",不要估一个数字当结论。
- 止血。 从
references/production-safety.md的手段清单里选代价最小、可逆性最好的一个,逐项拿到授权再执行;每步记录执行前后状态与验证结果。 - 验证恢复。 用明确的观测窗口和指标判定,不靠"感觉好了"。只有观测证据支持时才宣布恢复;未确认的部分如实标为尚未验证。
- 交付报告与复盘。 用
references/incident-timeline-template.md产出时间线与复盘,区分"已观察到""由证据推断""尚未验证"。
授权与会话纪律
- 破坏性操作逐项授权、逐项记录。用户说"你看着办"不等于授权删数据、清缓存或回滚版本;同一类操作的第二项也要单独确认。
- 执行前给出:动作、预期效果、副作用、失败后怎么恢复。执行后给出:实际观察到的结果与证据来源。
- 现场节奏快,但不省验证。没验证就说没验证。
- 如果用户要求跳过授权直接动手,先说明后果,再给出可逆的替代路径;用户仍坚持时按用户决定执行,但把"未按本 skill 建议授权"记录进时间线。
时间线记录
从接到第一条报障开始记,所有动作与观察都带时间戳与证据来源(日志、traceId、告警、监控面板、用户反馈),并区分三类表述:
- 已观察到:直接看到的证据,例如某个时间点的错误率曲线。
- 由证据推断:尚未直接证实的解释,例如"推断是下游超时导致"。
- 尚未验证:做了但还没确认效果的动作或假设。
混用这三类会把猜测写成结论,复盘时无法回溯。
影响面
- 用户/租户/地区/功能范围:受影响的是全部还是部分,能否绕过(降级入口、备用链路、换个入口是否可用)。
- 时间窗:开始时间、发现时间、止血时间、恢复时间;是否仍在扩大。
- 数据错误的处理单独列出、单独授权。 存在数据错误时,数据修复的风险高于止血本身,必须按
references/production-safety.md的前置条件(备份、影响行数预估、可回滚方案、双人确认)单独申请授权,不与止血动作混在一起做。 - 影响面的每一项都要注明证据来源;没有证据的写"待确认"。
恢复判定与不夸大
- 宣布恢复前必须有可观测依据,并说明观测窗口多长、看的是哪个指标。
- 只有"部分恢复""灰度恢复""暂未复现"时,就照实说,不要用"已恢复"覆盖。
- 恢复后仍要观察一段时间;观察期内的复发要记进时间线,不要抹掉。
复盘
复盘要写:时间线、直接原因、促成条件、为何未被更早发现、防复发项与责任人与期限。直接原因与根因未定位时,就写"未定位",并说明还需要什么证据。
复盘对事不对人,不用于追责。 时间线不修改、不美化,也不把责任落到个人头上;目标是让下一次更早发现、更快止血、不再复发。模板见 references/incident-timeline-template.md。
止血与根因的分工
止血完成后,根因定位交给 systematic-debugging。 本 skill 不做根因结论:现场紧急时选择的动作(回滚、重启、切流量)常常只是绕开了触发条件,现场处置不等于根因已找到。
- 本 skill 的输出是:严重度、影响面、做过什么、恢复证据、遗留未验证项。
systematic-debugging的输入是:上面这些事实,加上可复现的现象与证据。- 若止血动作已经让现象消失,把"消失前后的差异"完整交给它——那往往是定位的起点,而不是终点。
与相邻 skill 的边界
- 与
systematic-debugging的分工:本 skill 管现场与止血,它管根因定位。 - 发布前的准出检查、版本冻结、回滚预案设计:
release-readiness。本 skill 只在事故中执行已经决定好的回滚动作。 - 监控指标、SLO 与告警规则的设计:
observability-setup。本 skill 只消费现有告警与面板,不改告警规则。 - 修复一个已定位的缺陷并做回归:
defect-fix-loop。 - 只做代码质量或安全审查:
code-review-deep-zh。
交付内容
用简洁中文报告:严重度与依据 → 影响面与时间窗 → 做过的动作与授权情况 → 恢复判定与证据 → 尚未验证项 → 后续(根因定位、防复发项)。区分"已确认恢复""部分恢复""仍未恢复""尚未验证"四种状态,不要用含糊表述掩盖没恢复的事实。