首页/Linux/正文

用 systemd 定时器做服务自愈

与其等告警,不如让脚本定期检查并自动修复那些“可预期”的故障。

Linux自建服务可靠性2026-07-21约 1 分钟339 字

有些故障是可预期的:进程僵死、磁盘满、连接数耗尽、挂载丢失。这类问题适合让脚本先兜住,告警只处理“修不好的”。

单元组成

一个 oneshot 服务 + 一个 timer:

ini
# /etc/systemd/system/healthcheck.service
[Unit]
Description=服务自愈检查
After=network-online.target

[Service]
Type=oneshot
ExecStart=/usr/local/bin/healthcheck.sh
User=root
ini
# /etc/systemd/system/healthcheck.timer
[Unit]
Description=每 5 分钟检查一次

[Timer]
OnBootSec=2min
OnUnitActiveSec=5min
Persistent=true
RandomizedDelaySec=30

[Install]
WantedBy=timers.target

Persistent=true 让关机期间错过的执行在开机后补跑,RandomizedDelaySec 避免多台机器同时打上游。

检查脚本要幂等

自愈脚本最常见的错误是“修一次坏一次”。每一步都先判断状态,再决定是否动作:

bash
#!/usr/bin/env bash
set -euo pipefail
if ! systemctl is-active --quiet nginx; then
  logger -t selfheal "nginx inactive, restarting"
  systemctl restart nginx
fi

只在“确实不健康”时才重启,避免每 5 分钟无条件重启一次。

别做危险的自愈

  • 不要自动 rm 数据目录;
  • 不要自动格式化或重建阵列;
  • 不要自动升级大版本;
  • 不要在没有锁的情况下并发执行。

观察

bash
systemctl list-timers --all
journalctl -u healthcheck.service -n 50

看“上次运行时间”和“下次运行时间”,比看脚本有没有写错更直接。

自愈会掩盖根因

自动重启让服务恢复,但问题可能仍然存在。脚本里加一行日志,记录重启原因和次数;每月看一眼次数,异常增长就是根因信号。

小结

自愈只处理“已知且可安全修复”的问题。把边界划清楚,它才是帮手,而不是新的故障源。

说明:文中的地址、域名、主机名与账号均为脱敏示例;配置片段来自实际环境,但版本与网络条件不同,照搬前请先在测试环境验证。最后校对:2026-07-21。