incident-response

线上问题的现场处置,核心是止血优先于根因定位。当用户报障或描述线上故障时使用:线上出问题了、服务不可用、大面积报错、用户反馈打不开、接口全 500、比赛/大促/活动期间现场崩了、要立刻恢复服务、要写故障复盘或 postmortem、要定严重度级别(sev level)、要判断先停服务还是先查原因、谁是 on-call、要不要升级、要不要通知谁、要不要先回滚。英文收 production incid

SKILL.md

GitHub

线上问题现场处置

线上正在出问题时,第一目标是恢复服务、缩小影响,不是找到原因。因此本 skill 的第一条原则是:止血优先于根因定位。先把用户受影响的时间压短,再进入定位。

现场处置有一条最容易被违反的纪律:止血动作必须可回滚或可解释。任何一个改动都要在执行前写清预期效果与副作用,执行后立即用可观测证据验证。做不到这两点的动作,不要在现场做。

先过安全闸

收到故障描述后,先判断是否需要立即止血,再谈别的。以下情形按最高紧急度处理,同时立刻向用户确认:

  • 用户完全打不开、核心链路不可用、订单/支付/登录等主流程报错。
  • 大面积报错且仍在扩大,或错误正在写入数据。
  • 有数据错误、数据丢失或数据被污染的可能。

安全闸里的四条硬约束,任何一条都不能因为"紧急"而跳过:

  1. 先止血、后定位。 止血优先于根因定位;现场处置不等于根因已找到。
  2. 止血动作必须可回滚或可解释,执行前写清预期效果与副作用,执行后立即验证。
  3. 禁止未经明确授权执行破坏性操作。 删数据、清缓存/清库、重启数据库、扩缩容、回滚版本、封禁用户,每一项都属于需要逐项授权的动作,不能从"赶紧处理一下"里推断授权。
  4. 不夸大。 不得声称未验证的恢复已生效;恢复判定必须有可观测依据(错误率、成功率、延迟、关键业务指标、真实用户反馈)。

处置顺序

  1. 判断是否需要立即止血。 还在流血就先止血,不先查原因;已经稳定就先定影响面与严重度。判断依据写进时间线。
  2. 定严重度分级。 分级决定响应强度:响应时限、通知范围、谁有权决策、是否需要升级。依据必须写清——影响面、是否核心链路、有无数据错误、是否可绕过。分级表见 references/severity-and-triage.md。
  3. 划影响面。 说清受影响的用户/租户/地区/功能范围、开始时间、是否仍在扩大。影响面靠证据界定,不靠感觉界定;拿不到证据就标"待确认",不要估一个数字当结论。
  4. 止血。 从 references/production-safety.md 的手段清单里选代价最小、可逆性最好的一个,逐项拿到授权再执行;每步记录执行前后状态与验证结果。
  5. 验证恢复。 用明确的观测窗口和指标判定,不靠"感觉好了"。只有观测证据支持时才宣布恢复;未确认的部分如实标为尚未验证。
  6. 交付报告与复盘。 用 references/incident-timeline-template.md 产出时间线与复盘,区分"已观察到""由证据推断""尚未验证"。

授权与会话纪律

  • 破坏性操作逐项授权、逐项记录。用户说"你看着办"不等于授权删数据、清缓存或回滚版本;同一类操作的第二项也要单独确认。
  • 执行前给出:动作、预期效果、副作用、失败后怎么恢复。执行后给出:实际观察到的结果与证据来源。
  • 现场节奏快,但不省验证。没验证就说没验证。
  • 如果用户要求跳过授权直接动手,先说明后果,再给出可逆的替代路径;用户仍坚持时按用户决定执行,但把"未按本 skill 建议授权"记录进时间线。

时间线记录

从接到第一条报障开始记,所有动作与观察都带时间戳与证据来源(日志、traceId、告警、监控面板、用户反馈),并区分三类表述:

  • 已观察到:直接看到的证据,例如某个时间点的错误率曲线。
  • 由证据推断:尚未直接证实的解释,例如"推断是下游超时导致"。
  • 尚未验证:做了但还没确认效果的动作或假设。

混用这三类会把猜测写成结论,复盘时无法回溯。

影响面

  • 用户/租户/地区/功能范围:受影响的是全部还是部分,能否绕过(降级入口、备用链路、换个入口是否可用)。
  • 时间窗:开始时间、发现时间、止血时间、恢复时间;是否仍在扩大。
  • 数据错误的处理单独列出、单独授权。 存在数据错误时,数据修复的风险高于止血本身,必须按 references/production-safety.md 的前置条件(备份、影响行数预估、可回滚方案、双人确认)单独申请授权,不与止血动作混在一起做。
  • 影响面的每一项都要注明证据来源;没有证据的写"待确认"。

恢复判定与不夸大

  • 宣布恢复前必须有可观测依据,并说明观测窗口多长、看的是哪个指标。
  • 只有"部分恢复""灰度恢复""暂未复现"时,就照实说,不要用"已恢复"覆盖。
  • 恢复后仍要观察一段时间;观察期内的复发要记进时间线,不要抹掉。

复盘

复盘要写:时间线、直接原因、促成条件、为何未被更早发现、防复发项与责任人与期限。直接原因与根因未定位时,就写"未定位",并说明还需要什么证据。

复盘对事不对人,不用于追责。 时间线不修改、不美化,也不把责任落到个人头上;目标是让下一次更早发现、更快止血、不再复发。模板见 references/incident-timeline-template.md。

止血与根因的分工

止血完成后,根因定位交给 systematic-debugging。 本 skill 不做根因结论:现场紧急时选择的动作(回滚、重启、切流量)常常只是绕开了触发条件,现场处置不等于根因已找到。

  • 本 skill 的输出是:严重度、影响面、做过什么、恢复证据、遗留未验证项。
  • systematic-debugging 的输入是:上面这些事实,加上可复现的现象与证据。
  • 若止血动作已经让现象消失,把"消失前后的差异"完整交给它——那往往是定位的起点,而不是终点。

与相邻 skill 的边界

  • 与 systematic-debugging 的分工:本 skill 管现场与止血,它管根因定位。
  • 发布前的准出检查、版本冻结、回滚预案设计:release-readiness。本 skill 只在事故中执行已经决定好的回滚动作。
  • 监控指标、SLO 与告警规则的设计:observability-setup。本 skill 只消费现有告警与面板,不改告警规则。
  • 修复一个已定位的缺陷并做回归:defect-fix-loop。
  • 只做代码质量或安全审查:code-review-deep-zh。

交付内容

用简洁中文报告:严重度与依据 → 影响面与时间窗 → 做过的动作与授权情况 → 恢复判定与证据 → 尚未验证项 → 后续(根因定位、防复发项)。区分"已确认恢复""部分恢复""仍未恢复""尚未验证"四种状态,不要用含糊表述掩盖没恢复的事实。