日志告警的阈值与抑制
按关键词告警最容易误报,按“变化”和“比例”告警更可靠。
日志里出现 error 就告警,通常第一天就会被关掉。更稳的做法是看趋势和比例。
三种可用的信号
| 信号 | 例子 | 优点 |
|---|---|---|
| 速率 | 每分钟错误数突增 5 倍 | 抗噪 |
| 比例 | 5xx 占请求数 > 1% | 与流量解耦 |
| 新类型 | 出现从未见过的异常栈 | 早发现 |
单条关键词只适合“绝不应该出现”的事件,例如密钥校验失败、数据库连接串解析失败。
抑制与分组
同一根因会在多个服务里同时报错。按服务名或错误指纹分组,一个窗口内只发一条:
yaml
group_by: [alertname, service]
group_wait: 30s
group_interval: 5m
repeat_interval: 4hrepeat_interval 太长会忘记,太短会烦。4 小时是常见折中。
阈值要带持续时间
yaml
expr: rate(http_requests_total{code=~"5.."}[5m]) / rate(http_requests_total[5m]) > 0.01
for: 10mfor 过滤掉瞬时抖动,10 分钟持续超标才值得叫醒人。
日志采集本身会丢
采集端重启、磁盘满、网络抖动都会丢日志,表现为“没有错误”而不是“没有告警”。给采集端加心跳与积压监控。
告警内容
写清:哪个服务、什么现象、影响多少请求、最近一次变更是什么。没有上下文的告警等于把排查工作推给接电话的人。
小结
速率、比例、新类型三种信号,配合分组与持续时间,告警才会“少而准”。
说明:文中的地址、域名、主机名与账号均为脱敏示例;配置片段来自实际环境,但版本与网络条件不同,照搬前请先在测试环境验证。最后校对:2026-04-08。