排障方法论:从现象到根因
排障不是靠经验猜,而是靠分层、假设、验证,一步步缩小范围。
同样的故障,有人十分钟定位,有人查一下午。差别不在记了多少命令,而在有没有一套可复用的方法。
一、先描述现象,不下结论
把“网慢”拆成可观察的事实:
- 哪个应用、哪台设备、什么时间开始;
- 是全部慢还是部分慢;
- 是首次访问慢还是持续慢;
- 有没有同时发生的变更。
现象越具体,假设越少。
二、分层定位
网络问题按层排查:
| 层 | 检查 | 命令 |
|---|---|---|
| 物理 | 网线、光模块、指示灯 | 看灯、换线 |
| 链路 | 协商速率、错包 | ethtool、ip -br a |
| 网络 | 地址、路由、ARP | ip r、arp -a |
| 传输 | 端口、丢包 | ss -lntp、mtr |
| 应用 | 状态码、日志 | curl -v、journalctl |
| 解析 | DNS | dig |
从下往上,哪一层断了就停在哪一层,不要跳。
三、假设与验证
每次只改一个变量,改完立刻验证。常见的错误是“同时改了 DNS、MTU 和防火墙”,结果恢复了也不知道是哪一项起作用,下次还会复发。
记录格式:
text
时间 操作 结果 结论
10:05 ping 网关 丢包 20% 局域网有问题
10:10 换网线 丢包 0% 线材故障四、二分法
范围大时用二分:一半一半地排除。
- 两台交换机之间:先拔一半端口,看问题是否消失;
- 配置问题:注释掉后半段配置,重启验证;
- 时间范围:对比故障前后各一小时的日志。
二分能把 O(n) 的排查变成 O(log n)。
五、常见误判
| 误判 | 实际原因 |
|---|---|
| “网络断了” | DNS 解析失败,网络本身正常 |
| “服务器挂了” | 证书过期,客户端拒绝连接 |
| “带宽不够” | 单线程测速、Wi-Fi 瓶颈 |
| “磁盘满了” | inode 用完,空间还有 |
| “服务重启了” | 健康检查误判,编排层主动重启 |
| “防火墙拦了” | 端口没监听,或监听在 127.0.0.1 |
先怀疑最近改过的东西
故障时间点附近有变更,优先回滚变更,再继续排查。回滚是最快的验证手段。
六、收尾
- 写清根因、影响范围、处理过程;
- 补监控与告警,让同类问题早发现;
- 补文档,把“下次怎么查”写下来;
- 如果是配置问题,加一条检查项到上线清单。
小结
描述事实、分层定位、单变量验证、二分缩小、记录结论。方法稳定,结果才稳定。
说明:文中的地址、域名、主机名与账号均为脱敏示例;配置片段来自实际环境,但版本与网络条件不同,照搬前请先在测试环境验证。最后校对:2026-09-30。