运维

故障排查的常见路径

五类高频故障(登录失败、下单报错、支付不回调、库存不对、报表偏差)的定位顺序,以及哪些信息必须先收集。

最后更新:2026/11/19

排查故障最容易犯的错是先猜原因再找证据。更快的做法是先收集三类信息,再按路径走。

一、先收集三类信息

  1. 时间点:故障发生与发现的时间(精确到分钟),用来对齐日志
  2. 影响面:单个用户 / 单个商品 / 全站,决定是数据问题还是系统问题
  3. 最近变更:是否刚升级、刚改配置、刚上新活动

三类信息拿到之前不要动系统。多数「越修越乱」都是因为一边改一边查。

二、五类高频故障

登录失败

  1. 看登录日志:是密码错、验证码错,还是账号被锁
  2. 密码错集中在单用户 → 账号问题;集中在多用户 → 检查认证服务
  3. 全部用户都不能登录 → 检查 Redis 会话与认证服务健康状态

下单报错

  1. 看订单状态机是否停在中间态(有订单号无状态)
  2. 查库存:是否为 0 或冻结量异常
  3. 查价格:阶梯价 / 活动价的生效区间是否覆盖当前时间
  4. 看应用日志里的异常栈,注意区分业务异常与系统异常

支付不回调

这是最高频也最要紧的一类:

  1. 查支付单:是否有渠道流水号(有则渠道已受理)
  2. 查回调日志:是否收到回调请求(收到了但验签失败 / 处理失败,是两类问题)
  3. 验签失败 → 检查密钥与证书是否与渠道侧一致
  4. 完全没收到回调 → 检查回调地址是否公网可达、是否为 HTTPS、是否在渠道白名单

不要做:手工改支付单状态为已支付。资金以渠道为准,手工改会让对账永远对不上。

库存不对

  1. 分清三种量:可售量、冻结量、实际库存
  2. 查库存流水:是否有未闭合的扣减记录(扣了但没回补)
  3. 售后未收货就回补库存,是最常见的超卖原因
  4. 调拨是否落账:调出未减、调入已加,会造成总量虚高

报表偏差

  1. 先确认口径:按支付时间还是下单时间统计
  2. 退款是否冲减:多数报表偏差来自退款未从销售额里扣除
  3. 时区:报表按服务器时区还是业务时区
  4. 缓存:报表是否使用了缓存,缓存未过期会导致数据滞后

三、处置顺序

  1. 恢复可用(必要时回滚或降级)
  2. 保留现场(日志、数据库快照、配置快照)
  3. 复现与定位
  4. 修复后补验证用例,避免同类问题复发

四、需要长期做的两件事

  • 告警:关键链路(支付回调、订单创建、库存扣减)失败率超阈值要告警,不要等客户投诉
  • 留痕:所有手工操作(改数据、改配置)记入操作日志,否则下次排查无从对照

需要针对你的场景给建议?

不用先看完全部文档。说清产品线与当前进度,我们直接给判断。