Prometheus 監控系列搭建 Alertmanager 告警體系實現郵件告警全流程實戰第2部Prometheus告警Alertmanager介紹整體工作流程Alertmanager部署集成到Prometheus郵箱告警及告警規則驗證郵箱告警第2部Prometheus告警摘要本文是 Prometheus 監控系列的第 2 部分聚焦告警體系的搭建與驗證。文章首先介紹 Alertmanager 在告警鏈路中的角色與整體工作流程隨后演示 Alertmanager 的下載、解壓、systemd 托管部署并將其集成到 Prometheus 配置中。接著以 QQ 郵箱為例詳細配置 SMTP 郵件告警接收器并編寫基于磁盤分區使用率的 PromQL 告警規則。最后通過創建大文件觸發告警完整驗證了從 Prometheus 告警觸發、Alertmanager 郵件分發到 QQ 郵箱收到通知的閉環流程。Alertmanager介紹Alertmanager 是 Prometheus 生態獨立的告警管理組件PrometheusPrometheus 負責計算告警規則把觸發的告警通過 HTTP 推送給 Alertmanager由 Alertmanager 做告警降噪、分組、路由、分發通知再發給郵件、釘釘、企業微信、webhook 等渠道。?? 告警是兩套組件分工Prometheus寫告警規則、判斷是否觸發Alertmanager只處理告警不做指標采集與規則計算整體工作流程Prometheus 根據alert.rules規則計算條件滿足進入firing狀態Prometheus 將告警 POST 發送給 Alertmanager/api/v1/alertsAlertmanager 執行分組 → 去重 → 抑制 / 靜默過濾 → 路由匹配接收器通過接收器發送告警通知故障恢復后發送恢復通知resolved。Alertmanager部署從Prometheus官網獲取[rootprometheus-server ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.30.1/alertmanager-0.30.1.linux-amd64.tar.gz源碼包解壓[rootprometheus-server ~]# tar zxvf alertmanager-0.30.1.linux-amd64.tar.gzalertmanager-0.30.1.linux-amd64/ alertmanager-0.30.1.linux-amd64/alertmanager.yml alertmanager-0.30.1.linux-amd64/NOTICE alertmanager-0.30.1.linux-amd64/alertmanager alertmanager-0.30.1.linux-amd64/LICENSE alertmanager-0.30.1.linux-amd64/amtool[rootprometheus-server ~]# mv alertmanager-0.30.1.linux-amd64 /usr/local/src/alertmanager啟動服務[rootprometheus-server ~]# nohup /usr/local/src/alertmanager/alertmanager --config.file/usr/local/src/alertmanager/alertmanager.yml [1]1787[rootprometheus-server ~]# nohup: 忽略輸入并把輸出追加到nohup.out[rootprometheus-server ~]# ps -ef | grep alertmanagerroot17871660119:15 pts/0 00:00:00 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml root17951660019:15 pts/0 00:00:00grep--colorauto alertmanager使用systemd管理[rootprometheus-server ~]# kill -9 1787[rootprometheus-server ~]# vim /usr/lib/systemd/system/alertmanager.service[Service]ExecStart/usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target[Unit]DescriptionalertmanagerAfternetwork.target[rootprometheus-server ~]# systemctl daemon-reload[rootprometheus-server ~]# systemctl enable alertmanager.service --nowCreated symlink from /etc/systemd/system/multi-user.target.wants/alertmanager.service to /usr/lib/systemd/system/alertmanager.service.[rootprometheus-server ~]# systemctl status alertmanager.service● alertmanager.service - alertmanager Loaded: loaded(/usr/lib/systemd/system/alertmanager.service;enabled;vendor preset: disabled)Active: active(running)since 二2026-09-0119:18:21 CST;5s ago Main PID:1971(alertmanager)Tasks:7Memory:12.7M CGroup: /system.slice/alertmanager.service └─1971 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager...查看端口[rootprometheus-server ~]# ss -anput | grep 9093tcp LISTEN0128[::]:9093[::]:* users:((alertmanager,pid1971,fd7))打開網頁http://192.168.18.128:9093/集成到Prometheus在Prometheus-server配置文件prometheus.yml中修改[rootprometheus-server ~]# vim /usr/local/src/prometheus/prometheus.yml//8-12行...7# Alertmanager configuration8alerting:9alertmanagers:10- static_configs:11- targets:12-192.168.100.128:9093#修改為alertmanager的IP及對應端口... //15-16行15rule_files:16-rules/*.yml//增加alertmanager監控項... - job_name:alertmanager# metrics_path defaults to /metrics# scheme defaults to http.static_configs: - targets:[192.168.100.128:9093]#重啟服務[rootprometheus-server ~]# systemctl restart prometheus.service查看Prometheus的target郵箱告警及告警規則注冊郵箱開啟授權碼開啟服務剛開始服務會自動生成授權碼,如果忘記沒有復制無法找回只能重新生成生成新的授權碼在alertmanager服務器上操作添加郵箱告警設置[rootprometheus-server ~]# cd /usr/local/src/alertmanager/[rootprometheus-server alertmanager]# cp -p alertmanager.yml alertmanager.yml.bk[rootprometheus-server alertmanager]# vim alertmanager.ymlglobal:# 全局配置塊作用于整個Alertmanagerresolve_timeout: 5m# 解析超時時間告警消失后5分鐘沒有再次收到告警則判定為故障恢復resolvedsmtp_smarthost:smtp.qq.com:465# QQ郵箱SMTP服務器地址和端口465為SSL端口smtp_from:2370787636qq.com# 發件人郵箱告警郵件顯示是誰發出smtp_auth_username:2370787636qq.com# SMTP認證用戶名就是QQ郵箱賬號smtp_auth_password:kjuoiwndbjyodjbc# SMTP認證密碼QQ郵箱這里填16位授權碼不是登錄密碼smtp_hello:qq.com# SMTP HELO握手時攜帶的主機標識QQ郵箱填qq.comsmtp_require_tls:false# 是否開啟TLS465(SSL端口)必須關閉587端口才設置truetemplates:# 告警消息模板文件路徑自定義郵件/釘釘告警消息格式-templates/*.tmplroute:# 告警路由根節點告警分組、降噪、分發的核心配置group_by:[alertname,instance]# 告警分組把alertnameinstance相同的多條告警合并為一條通知防止告警風暴group_wait: 10s# 收到第一條告警后等待10秒收集同組其他告警再統一發送通知group_interval: 10s# 同一告警組上一組通知發完后間隔10s才允許發送本組下一次通知repeat_interval: 15m# 同一個持續未恢復告警每15分鐘重復發送一次告警通知receiver:email-notify# 本路由匹配到的告警交給哪個接收器處理receivers:# 接收器列表定義各個通知渠道郵箱、webhook釘釘等- name:email-notify# 接收器名稱route里面receiver字段要和這里名字完全一致email_configs:# 郵箱通知配置塊- to:2370787636qq.com# 收件郵箱告警郵件發給誰send_resolved:true# 開啟故障恢復(resolved)之后也發送恢復通知郵件inhibit_rules:[]# 告警抑制規則數組[]代表為空不配置任何自動抑制規則重啟alertmanager[rootprometheus-server alertmanager]# systemctl restart alertmanager在Prometheus-server上操作設置告警規則[rootprometheus-server alertmanager]# mkdir /usr/local/src/prometheus/rules[rootprometheus-server alertmanager]# cd[rootprometheus-server ~]# vim /usr/local/src/prometheus/rules/node_alerts.ymlgroups:# 規則組一組告警規則集合- name: general.rules# 規則組名稱自定義用于分類管理多條告警規則rules:# rules該組下定義的告警規則列表- alert: NodeFilesystemUsage# alert告警名稱告警觸發后alertname標簽就是該值expr:100-(node_filesystem_free_bytes{mountpoint/,fstype~ext4|xfs}/ node_filesystem_size_bytes{mountpoint/,fstype~ext4|xfs}*100)30# exprPromQL表達式計算/根分區磁盤使用率使用率30滿足告警條件除法兩邊標簽過濾器保持完全一致for: 1m# for持續等待時間指標滿足條件必須持續1分鐘才真正觸發告警消除瞬時抖動誤告警labels:# labels給告警添加自定義標簽用于alertmanager做路由、抑制規則匹配severity: warning# severity告警等級標簽warning為警告級別還有critical嚴重級別annotations:# annotations告警注釋信息僅展示不會作為告警匹配標簽用于郵件/釘釘告警消息內容summary:Instance {{$labels.instance }} : {{$labels.mountpoint }} 分區使用率過高# summary告警簡短標題{{ $labels.xxx }}模板語法動態讀取指標的標簽description:{{$labels.instance }} : {{$labels.job }} : {{$labels.mountpoint }} 這個分區使用大于百分之三十(當前值{{$value}})# description告警詳情{{ $value }}代表PromQL表達式計算出的數值結果重啟服務[rootprometheus-server ~]# systemctl restart prometheus.service驗證郵箱告警在Prometheus-server服務器上操作先查看當前/分區占用[rootprometheus-server ~]# df -hT文件系統 類型 容量 已用 可用 已用% 掛載點 devtmpfs devtmpfs1.9G01.9G0% /dev tmpfs tmpfs1.9G01.9G0% /dev/shm tmpfs tmpfs1.9G 12M1.9G1% /run tmpfs tmpfs1.9G01.9G0% /sys/fs/cgroup /dev/mapper/centos-root xfs 17G6.2G 11G37% / /dev/sda1 xfs 1014M 195M 820M20% /boot tmpfs tmpfs 378M0378M0% /run/user/0進行測試創建大容量文件[rootprometheus-server ~]# dd if/dev/zero of/test bs10M count10000dd: 寫入/test出錯: 設備上沒有空間 記錄了11080 的讀入 記錄了11070 的寫出11612389376字節(12GB)已復制63.3676 秒183 MB/秒Prometheus頁面已經出現告警提示alertmanager中也已經出現郵件告警在qq郵箱中收到了告警郵件 Prometheus 監控系列：搭建 Alertmanager 告警體系，實現郵件告警全流程實戰
Prometheus 監控系列搭建 Alertmanager 告警體系實現郵件告警全流程實戰第2部Prometheus告警Alertmanager介紹整體工作流程Alertmanager部署集成到Prometheus郵箱告警及告警規則驗證郵箱告警第2部Prometheus告警摘要本文是 Prometheus 監控系列的第 2 部分聚焦告警體系的搭建與驗證。文章首先介紹 Alertmanager 在告警鏈路中的角色與整體工作流程隨后演示 Alertmanager 的下載、解壓、systemd 托管部署并將其集成到 Prometheus 配置中。接著以 QQ 郵箱為例詳細配置 SMTP 郵件告警接收器并編寫基于磁盤分區使用率的 PromQL 告警規則。最后通過創建大文件觸發告警完整驗證了從 Prometheus 告警觸發、Alertmanager 郵件分發到 QQ 郵箱收到通知的閉環流程。Alertmanager介紹Alertmanager 是 Prometheus 生態獨立的告警管理組件PrometheusPrometheus 負責計算告警規則把觸發的告警通過 HTTP 推送給 Alertmanager由 Alertmanager 做告警降噪、分組、路由、分發通知再發給郵件、釘釘、企業微信、webhook 等渠道。?? 告警是兩套組件分工Prometheus寫告警規則、判斷是否觸發Alertmanager只處理告警不做指標采集與規則計算整體工作流程Prometheus 根據alert.rules規則計算條件滿足進入firing狀態Prometheus 將告警 POST 發送給 Alertmanager/api/v1/alertsAlertmanager 執行分組 → 去重 → 抑制 / 靜默過濾 → 路由匹配接收器通過接收器發送告警通知故障恢復后發送恢復通知resolved。Alertmanager部署從Prometheus官網獲取[rootprometheus-server ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.30.1/alertmanager-0.30.1.linux-amd64.tar.gz源碼包解壓[rootprometheus-server ~]# tar zxvf alertmanager-0.30.1.linux-amd64.tar.gzalertmanager-0.30.1.linux-amd64/ alertmanager-0.30.1.linux-amd64/alertmanager.yml alertmanager-0.30.1.linux-amd64/NOTICE alertmanager-0.30.1.linux-amd64/alertmanager alertmanager-0.30.1.linux-amd64/LICENSE alertmanager-0.30.1.linux-amd64/amtool[rootprometheus-server ~]# mv alertmanager-0.30.1.linux-amd64 /usr/local/src/alertmanager啟動服務[rootprometheus-server ~]# nohup /usr/local/src/alertmanager/alertmanager --config.file/usr/local/src/alertmanager/alertmanager.yml [1]1787[rootprometheus-server ~]# nohup: 忽略輸入并把輸出追加到nohup.out[rootprometheus-server ~]# ps -ef | grep alertmanagerroot17871660119:15 pts/0 00:00:00 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml root17951660019:15 pts/0 00:00:00grep--colorauto alertmanager使用systemd管理[rootprometheus-server ~]# kill -9 1787[rootprometheus-server ~]# vim /usr/lib/systemd/system/alertmanager.service[Service]ExecStart/usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target[Unit]DescriptionalertmanagerAfternetwork.target[rootprometheus-server ~]# systemctl daemon-reload[rootprometheus-server ~]# systemctl enable alertmanager.service --nowCreated symlink from /etc/systemd/system/multi-user.target.wants/alertmanager.service to /usr/lib/systemd/system/alertmanager.service.[rootprometheus-server ~]# systemctl status alertmanager.service● alertmanager.service - alertmanager Loaded: loaded(/usr/lib/systemd/system/alertmanager.service;enabled;vendor preset: disabled)Active: active(running)since 二2026-09-0119:18:21 CST;5s ago Main PID:1971(alertmanager)Tasks:7Memory:12.7M CGroup: /system.slice/alertmanager.service └─1971 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager...查看端口[rootprometheus-server ~]# ss -anput | grep 9093tcp LISTEN0128[::]:9093[::]:* users:((alertmanager,pid1971,fd7))打開網頁http://192.168.18.128:9093/集成到Prometheus在Prometheus-server配置文件prometheus.yml中修改[rootprometheus-server ~]# vim /usr/local/src/prometheus/prometheus.yml//8-12行...7# Alertmanager configuration8alerting:9alertmanagers:10- static_configs:11- targets:12-192.168.100.128:9093#修改為alertmanager的IP及對應端口... //15-16行15rule_files:16-rules/*.yml//增加alertmanager監控項... - job_name:alertmanager# metrics_path defaults to /metrics# scheme defaults to http.static_configs: - targets:[192.168.100.128:9093]#重啟服務[rootprometheus-server ~]# systemctl restart prometheus.service查看Prometheus的target郵箱告警及告警規則注冊郵箱開啟授權碼開啟服務剛開始服務會自動生成授權碼,如果忘記沒有復制無法找回只能重新生成生成新的授權碼在alertmanager服務器上操作添加郵箱告警設置[rootprometheus-server ~]# cd /usr/local/src/alertmanager/[rootprometheus-server alertmanager]# cp -p alertmanager.yml alertmanager.yml.bk[rootprometheus-server alertmanager]# vim alertmanager.ymlglobal:# 全局配置塊作用于整個Alertmanagerresolve_timeout: 5m# 解析超時時間告警消失后5分鐘沒有再次收到告警則判定為故障恢復resolvedsmtp_smarthost:smtp.qq.com:465# QQ郵箱SMTP服務器地址和端口465為SSL端口smtp_from:2370787636qq.com# 發件人郵箱告警郵件顯示是誰發出smtp_auth_username:2370787636qq.com# SMTP認證用戶名就是QQ郵箱賬號smtp_auth_password:kjuoiwndbjyodjbc# SMTP認證密碼QQ郵箱這里填16位授權碼不是登錄密碼smtp_hello:qq.com# SMTP HELO握手時攜帶的主機標識QQ郵箱填qq.comsmtp_require_tls:false# 是否開啟TLS465(SSL端口)必須關閉587端口才設置truetemplates:# 告警消息模板文件路徑自定義郵件/釘釘告警消息格式-templates/*.tmplroute:# 告警路由根節點告警分組、降噪、分發的核心配置group_by:[alertname,instance]# 告警分組把alertnameinstance相同的多條告警合并為一條通知防止告警風暴group_wait: 10s# 收到第一條告警后等待10秒收集同組其他告警再統一發送通知group_interval: 10s# 同一告警組上一組通知發完后間隔10s才允許發送本組下一次通知repeat_interval: 15m# 同一個持續未恢復告警每15分鐘重復發送一次告警通知receiver:email-notify# 本路由匹配到的告警交給哪個接收器處理receivers:# 接收器列表定義各個通知渠道郵箱、webhook釘釘等- name:email-notify# 接收器名稱route里面receiver字段要和這里名字完全一致email_configs:# 郵箱通知配置塊- to:2370787636qq.com# 收件郵箱告警郵件發給誰send_resolved:true# 開啟故障恢復(resolved)之后也發送恢復通知郵件inhibit_rules:[]# 告警抑制規則數組[]代表為空不配置任何自動抑制規則重啟alertmanager[rootprometheus-server alertmanager]# systemctl restart alertmanager在Prometheus-server上操作設置告警規則[rootprometheus-server alertmanager]# mkdir /usr/local/src/prometheus/rules[rootprometheus-server alertmanager]# cd[rootprometheus-server ~]# vim /usr/local/src/prometheus/rules/node_alerts.ymlgroups:# 規則組一組告警規則集合- name: general.rules# 規則組名稱自定義用于分類管理多條告警規則rules:# rules該組下定義的告警規則列表- alert: NodeFilesystemUsage# alert告警名稱告警觸發后alertname標簽就是該值expr:100-(node_filesystem_free_bytes{mountpoint/,fstype~ext4|xfs}/ node_filesystem_size_bytes{mountpoint/,fstype~ext4|xfs}*100)30# exprPromQL表達式計算/根分區磁盤使用率使用率30滿足告警條件除法兩邊標簽過濾器保持完全一致for: 1m# for持續等待時間指標滿足條件必須持續1分鐘才真正觸發告警消除瞬時抖動誤告警labels:# labels給告警添加自定義標簽用于alertmanager做路由、抑制規則匹配severity: warning# severity告警等級標簽warning為警告級別還有critical嚴重級別annotations:# annotations告警注釋信息僅展示不會作為告警匹配標簽用于郵件/釘釘告警消息內容summary:Instance {{$labels.instance }} : {{$labels.mountpoint }} 分區使用率過高# summary告警簡短標題{{ $labels.xxx }}模板語法動態讀取指標的標簽description:{{$labels.instance }} : {{$labels.job }} : {{$labels.mountpoint }} 這個分區使用大于百分之三十(當前值{{$value}})# description告警詳情{{ $value }}代表PromQL表達式計算出的數值結果重啟服務[rootprometheus-server ~]# systemctl restart prometheus.service驗證郵箱告警在Prometheus-server服務器上操作先查看當前/分區占用[rootprometheus-server ~]# df -hT文件系統 類型 容量 已用 可用 已用% 掛載點 devtmpfs devtmpfs1.9G01.9G0% /dev tmpfs tmpfs1.9G01.9G0% /dev/shm tmpfs tmpfs1.9G 12M1.9G1% /run tmpfs tmpfs1.9G01.9G0% /sys/fs/cgroup /dev/mapper/centos-root xfs 17G6.2G 11G37% / /dev/sda1 xfs 1014M 195M 820M20% /boot tmpfs tmpfs 378M0378M0% /run/user/0進行測試創建大容量文件[rootprometheus-server ~]# dd if/dev/zero of/test bs10M count10000dd: 寫入/test出錯: 設備上沒有空間 記錄了11080 的讀入 記錄了11070 的寫出11612389376字節(12GB)已復制63.3676 秒183 MB/秒Prometheus頁面已經出現告警提示alertmanager中也已經出現郵件告警在qq郵箱中收到了告警郵件