首页/运维/正文

自动化通知的可靠性:双通道与容错

推送失败是常态,通知链路要有兜底,不然关键告警会安静地消失。

运维自建服务可靠性2026-05-08约 2 分钟472 字

“脚本跑了,消息没收到”是自动化里最常见也最危险的问题。通知链路本身也会故障,所以它需要被当作一个服务来设计。

三个基本要求

  • 可达:至少两个独立通道,主通道失败时走备份;
  • 去重:同一事件短时间重复触发时合并,避免刷屏;
  • 可追溯:发送记录留时间、通道、结果,出问题能回查。

重试要有限度

指数退避,最多三次,超过就切换通道。无限重试会把上游打到限流,反而更糟。

bash
for i in 1 2 3; do
  curl -sS -m 10 -X POST "$WEBHOOK" -d "$MSG" && break
  sleep $((2**i))
done

-m 10 必须有,否则一次卡住的请求会拖住整个脚本。

心跳与死信

关键任务用“死人开关”:每天成功时写一个时间戳,另一个任务检查它是否过期。备份、巡检、证书续签这类“没消息就是好消息”的任务,只有心跳能发现“根本没跑”。

通知风暴会让人关闭通知

磁盘告警每 5 分钟一条,两小时后没人再看。要做分组和抑制:同一类告警在一个窗口内只发一条,恢复时再发一条。

消息内容

一条通知至少包含:发生了什么、影响范围、现在状态、下一步做什么。只有“服务异常”四个字的消息,等于没发。

通道选择

通道优点风险
即时消息到达快可能被限流或折叠
邮件可留档延迟高、易进垃圾箱
Webhook可编程上游变更频繁

主通道用即时消息,备份用邮件或另一个 webhook,两者不要依赖同一个上游。

小结

通知不是“发出去就完了”,而是一条需要监控的链路。双通道、有限重试、去重抑制、心跳检查,四件事做到就够用。

说明:文中的地址、域名、主机名与账号均为脱敏示例;配置片段来自实际环境,但版本与网络条件不同,照搬前请先在测试环境验证。最后校对:2026-05-08。