在快速完成Prometheus搭建中，我们部署了alertmanager，但是并不能跑起来。接下来我们需要考虑是用slack通知，还是邮件通知。

1.alertmanager配置文件说明

# vi /etc/alertmanager/alertmanager.yml

# 全局配置项
global:
  resolve_timeout: '5m'      #处理超时时间，默认为5min
  smtp_smarthost: 'smtp.qq.com:587'  # 邮箱smtp服务器代理
  smtp_from: 'xxx@qq.com'  # 发送邮箱名称
  smtp_auth_username: 'xxx@qq.com' # 邮箱名称
  smtp_auth_password: 'xxxxxxx'   # 邮箱密码或授权码
  smtp_require_tls: false

# 定义模板邮件
templates:
- '/etc/alertmanager/template/*.tmpl'

# 定义路由树信息
route:
  group_by: ['alertname'] # 报警分组依据
  group_wait: 10s # 最初即第一次等待多久时间发送一组警报的通知
  group_interval: 10s # 在发送新警报前的等待时间
  repeat_interval: 5m # 发送重复警报的周期 对于email配置中，此项不可以设置过低，否则将会由于邮件发送太多频繁，被smtp服务器拒绝
  receiver: operations-team

# 定义警报接收者信息
receivers:
- name: 'operations-team'
  email_configs:  # 邮箱配置
  - to: 'xxx@foxmail.com'  # 接收警报的email配置
    html: '{{ template "test.html" . }}' # 设定邮箱的内容模板
    headers: { Subject: "[WARN] 报警邮件"} # 接收邮件的标题
  
  slack_configs:
  - api_url: "https://hooks.slack.com/services/TAX2D1UFK/B01GJE6SGV7/xxxxxxxxxxx"
    channel: "#prometheus"
    text: "{{ range .Alerts }} {{ .Annotations.description}}\n {{end}} {{ .CommonAnnotations.username}} "
    title: "{{.CommonAnnotations.summary}}"
    title_link: "{{.CommonAnnotations.link}}"
    color: "{{.CommonAnnotations.color}}"
    send_resolved: true

# 一个inhibition规则是在与另一组匹配器匹配的警报存在的条件下，使匹配一组匹配器的警报失效的规则。两个警报必须具有一组相同的标签。 
# 这里的critical 会抑制warning 规则， 比如磁盘使用率超过90%， 那80%的告警就不会发送通知。
inhibit_rules:  
- source_match:
    severity: 'critical'
  target_match:
    severity: 'warning'
  equal: ['alertname','instance']
- source_match:
    alertname: 'NodeFilesystemSpaceUsage'
    severity: 'critical'
  target_match:
    severity: 'warning'
  equal: ['alertname','instance']

说明:

以上配置，会发送slack，同时发送邮件通知。如果只需要一个，去掉不需要的即可。

inhibit_rules是我们配置的抑制规则。

邮件通知，我们使用了test.html模板。

重启alertmanager

systemctl restart alertmanager

检查下alertmanager页面
http://192.168.0.107:9093/#/alerts ，如下界面说明启动成功。

邮件通知模板
/etc/alertmanager/template/test.html

{{ define "test.html" }}
<table border="1">
        <tr>
                <td>报警项</td>
                <td>实例</td>
                <td>概要</td>
                <td>描述</td>
                <td>开始时间</td>
                <td>link</td>
        </tr>
        {{ range $i, $alert := .Alerts }}
                <tr>
                        <td>{{ .Labels.alertname }} </td>
                        <td>{{ .Labels.instance }} </td>
                        <td>{{ .Annotations.summary }}</td>
                        <td>{{ .Annotations.description }}</td>
                        <td>{{ .StartsAt.Format "2021-01-23 16:01:01" }}</td>
                        <td><a href="{{ .GeneratorURL }}">链接到Prometheus</a></td>
                </tr>
        {{ end }}
</table>
{{ end }}

2.slack操作

获取slack webhook地址

1.打开https://slack.com/ ，注册账号

2.创建一个channel #prometheus

3.添加APP

选中channel #prometheus

搜索"incoming-webhook",选中直接安装即可。

在弹出的link里面找到 webhook URL

这个url 就是 alertmanager配置文件里面的api_url

api_url: "https://hooks.slack.com/services/TAX2D1UFK/B01GJE6SGV7/xxxxxxxxxxx"

slack 配置完成。

3.qq邮箱操作

1.登陆QQ邮箱网页版，点击设置

获取授权码，填入alertmanager里smtp_auth_password

smtp_auth_password: 'xxxxxxx' 

SLACK通知结果展示:

邮件通知结果展示: