首页/运维/正文

日志告警的阈值与抑制

按关键词告警最容易误报,按“变化”和“比例”告警更可靠。

运维自建服务可靠性2026-04-08约 1 分钟346 字

日志里出现 error 就告警,通常第一天就会被关掉。更稳的做法是看趋势和比例。

三种可用的信号

信号例子优点
速率每分钟错误数突增 5 倍抗噪
比例5xx 占请求数 > 1%与流量解耦
新类型出现从未见过的异常栈早发现

单条关键词只适合“绝不应该出现”的事件,例如密钥校验失败、数据库连接串解析失败。

抑制与分组

同一根因会在多个服务里同时报错。按服务名或错误指纹分组,一个窗口内只发一条:

yaml
group_by: [alertname, service]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h

repeat_interval 太长会忘记,太短会烦。4 小时是常见折中。

阈值要带持续时间

yaml
expr: rate(http_requests_total{code=~"5.."}[5m]) / rate(http_requests_total[5m]) > 0.01
for: 10m

for 过滤掉瞬时抖动,10 分钟持续超标才值得叫醒人。

日志采集本身会丢

采集端重启、磁盘满、网络抖动都会丢日志,表现为“没有错误”而不是“没有告警”。给采集端加心跳与积压监控。

告警内容

写清:哪个服务、什么现象、影响多少请求、最近一次变更是什么。没有上下文的告警等于把排查工作推给接电话的人。

小结

速率、比例、新类型三种信号,配合分组与持续时间,告警才会“少而准”。

说明:文中的地址、域名、主机名与账号均为脱敏示例;配置片段来自实际环境,但版本与网络条件不同,照搬前请先在测试环境验证。最后校对:2026-04-08。