排查故障最容易犯的错是先猜原因再找证据。更快的做法是先收集三类信息,再按路径走。
一、先收集三类信息
- 时间点:故障发生与发现的时间(精确到分钟),用来对齐日志
- 影响面:单个用户 / 单个商品 / 全站,决定是数据问题还是系统问题
- 最近变更:是否刚升级、刚改配置、刚上新活动
三类信息拿到之前不要动系统。多数「越修越乱」都是因为一边改一边查。
二、五类高频故障
登录失败
- 看登录日志:是密码错、验证码错,还是账号被锁
- 密码错集中在单用户 → 账号问题;集中在多用户 → 检查认证服务
- 全部用户都不能登录 → 检查 Redis 会话与认证服务健康状态
下单报错
- 看订单状态机是否停在中间态(有订单号无状态)
- 查库存:是否为 0 或冻结量异常
- 查价格:阶梯价 / 活动价的生效区间是否覆盖当前时间
- 看应用日志里的异常栈,注意区分业务异常与系统异常
支付不回调
这是最高频也最要紧的一类:
- 查支付单:是否有渠道流水号(有则渠道已受理)
- 查回调日志:是否收到回调请求(收到了但验签失败 / 处理失败,是两类问题)
- 验签失败 → 检查密钥与证书是否与渠道侧一致
- 完全没收到回调 → 检查回调地址是否公网可达、是否为 HTTPS、是否在渠道白名单
不要做:手工改支付单状态为已支付。资金以渠道为准,手工改会让对账永远对不上。
库存不对
- 分清三种量:可售量、冻结量、实际库存
- 查库存流水:是否有未闭合的扣减记录(扣了但没回补)
- 售后未收货就回补库存,是最常见的超卖原因
- 调拨是否落账:调出未减、调入已加,会造成总量虚高
报表偏差
- 先确认口径:按支付时间还是下单时间统计
- 退款是否冲减:多数报表偏差来自退款未从销售额里扣除
- 时区:报表按服务器时区还是业务时区
- 缓存:报表是否使用了缓存,缓存未过期会导致数据滞后
三、处置顺序
- 恢复可用(必要时回滚或降级)
- 保留现场(日志、数据库快照、配置快照)
- 复现与定位
- 修复后补验证用例,避免同类问题复发
四、需要长期做的两件事
- 告警:关键链路(支付回调、订单创建、库存扣减)失败率超阈值要告警,不要等客户投诉
- 留痕:所有手工操作(改数据、改配置)记入操作日志,否则下次排查无从对照