本文将从多个维度介绍如何优化 Prometheus 以提升系统性能。
一. 优化数据存储
1. 配置数据保留策略
--storage.tsdb.retention.time=7d通过将数据保留时间从15天缩短到7天，可以显著减少存储的占用。对于长期数据存储，可以考虑将数据转储到远程存储系统，如 Thanos 或 Cortex，它们能够提供更高效的数据存储和压缩机制。
2. 调整块大小
Prometheus 的时序数据库通过块（blocks）来存储数据，默认每个块持续2小时的数据。可以根据具体环境调整块的大小，以平衡查询性能和存储效率。
--storage.tsdb.min-block-duration=2h
二. 降低采集频率
1. 调整抓取间隔
scrape_interval: 30s适当延长 scrape_interval 可以降低对 Prometheus 服务和被监控服务的压力。
scrape_configs:
- job_name: 'service_A'
scrape_interval: 10s
- job_name: 'service_B'
scrape_interval: 1m为重要服务设置较短的抓取间隔（例如10秒），而对于较少变动的服务，可以设置较长的抓取间隔（如1分钟）。
三. 精简标签和指标
1. 控制标签数量
2. 避免高基数标签
高基数标签（例如 user_id 或 session_id）会显著增加指标的基数。尽量避免将这些高基数的标签加入监控数据中。
例如，不要将用户ID这样的动态值直接作为标签：
request_count{user_id="12345"} # 避免此类标签可以使用其他方式统计用户行为，而不是直接通过标签记录每个用户的ID。
四. 优化查询性能
1. 使用时间范围限制查询
rate(http_requests_total[5m]) # 使用指定时间范围的查询尽量避免使用像 rate(http_requests_total) 这样的无时间范围的查询，这会导致 Prometheus 必须扫描所有数据。
2. 避免重复的子查询
sum(rate(http_requests_total[1m])) by (job)尽量使用简单的聚合函数，而不是多层的查询嵌套。
3. 使用远程查询
对于一些历史数据的查询，可以考虑使用远程存储后端，如 Thanos 或 Cortex。这些系统支持分布式查询和存储，并且能够处理大规模的查询请求，而不会过载 Prometheus 实例。
五. 分片和高可用
1. Prometheus 分片
sum(rate(http_requests_total[1m])) by (job)scrape_configs:
- job_name: 'node'
file_sd_configs:
- files:
- /etc/prometheus/node/*.yml
relabel_configs:
- source_labels: [__address__]
modulus: 2
target_label: __tmp_hash
action: hashmod
- source_labels: [__tmp_hash]
regex: ^0$
action: keepscrape_configs:
- job_name: 'node'
file_sd_configs:
- files:
- /etc/prometheus/node/*.yml
relabel_configs:
- source_labels: [__address__]
modulus: 2
target_label: __tmp_hash
action: hashmod
- source_labels: [__tmp_hash]
regex: ^0$
action: keep2. 高可用 Prometheus
高可用模式下，可以运行多个 Prometheus 实例同时采集相同的数据，并通过负载均衡来分担查询压力。这不仅提升了系统的健壮性，还能分担查询负载。
六. 优化告警规则
1. 减少告警规则的复杂性
2. 使用外部告警系统
如果你想学习更多Prometheus 技术知识，欢迎订阅我的技术专栏《玩转Prometheus监控》。小册原价299元，限时优惠价79元，有需要的朋友别错过了。
关注公众号，获取更多精彩内容
感谢阅读，如果觉得内容还行可以随手点个“赞”或者“在看”，也欢迎分享文章到朋友圈和技术群。
