首页/运维/正文

小规模环境的监控与告警怎么做

不需要大而全,先覆盖“挂了要知道、慢了要能查”这两件事。

运维自建服务可靠性2026-03-22约 2 分钟465 字

监控很容易一开始就搭得很复杂:采集、存储、面板、告警全上,最后没人看。小规模环境只需要回答两个问题:服务挂了能不能立刻知道,变慢了能不能查到原因。

最小组合

  • 采集:node_exporter(主机)、blackbox_exporter(探活);
  • 存储与规则:Prometheus;
  • 告警:Alertmanager 或直接推送到消息工具;
  • 面板:Grafana 或干脆只看告警。

如果只有三五台机器,Uptime Kuma 这类工具足够覆盖“是否在线”,但查不到“为什么慢”。

探活比指标更重要

对外服务用黑盒探测:HTTP 状态码、证书剩余天数、DNS 解析结果。这些是从用户视角看问题,比 CPU 使用率有用得多。

yaml
- job_name: blackbox
  metrics_path: /probe
  params:
    module: [http_2xx]
  static_configs:
    - targets: ["https://example.com", "https://nas.example.com"]
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - target_label: __address__
      replacement: 127.0.0.1:9115

告警规则的两个参数

for 决定“持续多久才告警”,避免抖动;repeat_interval 决定“多久重复提醒”,避免忘记。

yaml
- alert: TargetDown
  expr: probe_success == 0
  for: 3m
  labels: {severity: critical}
  annotations: {summary: "{{ $labels.instance }} 探测失败"}

磁盘空间用“预计多久写满”比“使用率超过 80%”更实用:predict_linear(node_filesystem_avail_bytes[6h], 24*3600) < 0。

通知链路

告警要有兜底通道:主通道(即时消息)+ 备通道(邮件)。推送失败是常态,不能只发一次就认为通知到了。

监控自己也要被监控

监控跑在同一台机器上时,机器挂了连告警都发不出去。用一个外部心跳(例如定时向第三方发一个“我还活着”的请求)兜底。

面板只留三块

  • 资源:CPU、内存、磁盘、网络;
  • 服务:探活成功率、响应时间;
  • 业务:队列长度、任务失败数。

面板不是越多越好,看不过来的面板等于没有。

小结

先用黑盒探活覆盖“挂了要知道”,再用指标覆盖“慢了能查”,最后才是面板美化。顺序反了,会搭出一套没人维护的系统。

说明:文中的地址、域名、主机名与账号均为脱敏示例;配置片段来自实际环境,但版本与网络条件不同,照搬前请先在测试环境验证。最后校对:2026-03-22。