在前面的一系列《深入理解Prometheus》和《深入理解Alertmanger》文章中，我们分别分析了告警（Alert）从Prometheus评估规则生成，发送到Alertmanger，然后经过路由、分组、静默、抑制、去重并发送到正确的接收方，介绍的有些分散，且关注点偏重于代码实现，本篇文章总结下Alert从生成到发送的整个生命周期，串一下方便理解。

Prometheus 阶段 生成alert

prometheus内部一个alert的状态如下：

• inactive：正常，没问题
• pending：告警已经生成，但还没有满足持续时间for
• firing：告警生成且满足了持续时间，会发送告警给alertmanager

如果一个规则没有for或者for为0，一个alert会直接从inactive到firing阶段；
如果一个规则有for且不为0，那么至少需要经过两个评估周期才会变成firing；
如果一个规则有for且不为0，某一次评估周期变成pending，但下一次又正常了，那将恢复为inactive，不会发告警。

prometheus发出的格式：

[
    {
        "labels": {
            "alert_class": "metric",
            "alert_rule_id": "940",
            "alert_severity": "1",
            "alert_strategy": "cwhistle_demo_00",
            "alert_strategy_id": "100",
            "alertname": "入流量异常告警",
            "city": "chongqing2",
            "tcs_instance": "10.27.38.145",
            "tcs_product": "clb",
            "tcs_type": "clb_tgw_inner_outer"
        },
        "annotations": {
            "query": "barad_tbr{tcs_type=~\"clb_tgw_inner_outer\",tcs_product=~\"clb\",clb_tgw_inner_outer=~\"10.27.38.145|10.27.38.146\"} < 5",
            "value": "0.00"
        },
        "state": "firing",
        "activeAt": "2021-01-25T08:31:34.941070644Z",
        "value": "0e+00"
    }
]

Alertmanager阶段 生成notification

• group_by: [ 'a-label', 'another-label' ]
• group_wait: 15s
• group_interval: 5m
• repeat_interval：1h

每个新来的alert，会根据alertmanger中的route配置进行路由（基于label路由），同时每个路由还会有group_by配置，将各个alert分为一个个group，后续以group为单位进行发送notfication。

group_wait 是一个新的group生成后等待的时间，用于聚合更多的同组alert；
group_interval 是每个group发送的间隔；
repeat_interval 是设定的一个group的重发间隔。

每个group隔group_interval会触发内部发送流程，但如果没有到repeat_interval会被自动过滤掉。

这里有几个细节：

1. 当一个新的group生成后会等group_wait再发送，但如果在等待时再来一个新的alert也进入了该group，会立即触发发送，这个只有在第一次时生效；
2. 当一个group发送后（不论什么方式触发的），会立即重置group_interval的值并重新开始计时；
3. 当一个已经发送过的group，其中有alert发生变化（新来alert或者状态改变），会在等待gorup_interval后触发重新发送，不受repeat_interval限制（这个逻辑目前一直有争议）；
4. 还有一个默认为5m中的resolved_time，一个alert最后一次进入alertmanager后，经过resolved_time没有进一步的信息会自动变成resolved然后发送。

Alertmanager发送的webhook格式:

{
  "version": "4",
  "groupKey": <string>,    // key identifying the group of alerts (e.g. to deduplicate)
  "status": "<resolved|firing>",
  "receiver": <string>,
  "groupLabels": <object>,
  "commonLabels": <object>,
  "commonAnnotations": <object>,
  "externalURL": <string>,  // backlink to the Alertmanager.
  "alerts": [
    {
      "status": "<resolved|firing>",
      "labels": <object>,
      "annotations": <object>,
      "startsAt": "<rfc3339>",
      "endsAt": "<rfc3339>",
      "generatorURL": <string> // identifies the entity that caused the alert
    },
    ...
  ]
}