欢迎光临
我们一直在努力

一切从巡检开始——Prometheus 的告警迭代小窍门

Prometheus 是 CNCF 的二号项目,大致相当于各种基于 K8s 的平台的标配监控方案了,其原始产品在高可用、性能等方面都有一些不足,好在几年来社区以及终端用户的持续贡献后,在大规模大流量的场景方面已经有了长足的进步。

Prometheus 具备 CNCF 中顶级项目的普遍优势:架构优雅、社区活跃、扩展方便、生态健康。它提供了大量的 Exporter,常见软件多数都会有对应的 Exporter 用于产生监控数据,另外借助 Prometheus API,能够很方便的编写自己的 Exporter。在查询方面,虽说 PromQL 的古怪语法经常遭人诟病,但的确能够编写非常灵活的查询和告警。

在实际落地过程中,监控和告警是非常重要的一个功能特性,但是不同项目、不同的运维团队、不同的工作负载,都有可能会有不同的告警关注点。告警信息是通常有成本的,在部分项目中可能还要走正式的上线/变更流程,因此通常来说都需要有一个平衡的过程,对告警项目以及告警阈值进行开发、测试、上线、反馈、调整等一系列迭代过程。

在项目过程中,我们可以采用一种巡检+告警的模式来完成这一迭代过程。简单来说分为这样几个大步骤:

  1. 写代码,从配置文件中读取 PromQL 查询语句,使用 Rest API 从 Prometheus 中获取指标。
  2. 将预备使用的告警指标写入配置文件。
  3. 在巡检过程中执行这些查询,并生成报表。

在每次巡检过程中生成的报告里,着重关注这些新的监控数据,并把新数据和系统中对应的监控对象的实际情况进行对比,用多次巡检过程进行磨合之后,就可以上线到告警系统中,正式投入使用了。这种糙快猛的做法,一方面使用同样的语法规则,很方便的能在告警和巡检之间进行指标定义的迁移;另一方面,巡检的指标可以采用较为敏感的阈值设置,用于发现趋势性的或者重要但是紧急度不高的指标进行处理。

相对于告警来说,巡检的自由度稍大,并且没有外发成本,更能够方便的进行调整迭代,避免无用告警和过量告警。

另外推荐一个网站:Awesome Prometheus Alerts,这里汇集了很多的告警规则代码,非常适合用在监控系统的初期建设上。

文章来源于互联网:一切从巡检开始——Prometheus 的告警迭代小窍门

赞(0)
未经允许不得转载:莱卡云 » 一切从巡检开始——Prometheus 的告警迭代小窍门