使用 SkyWalking 监控 RocketMQ Server

云运维 2024-03-02 大白菜程序猿手机阅读

SkyWalking 10.0 引入了新的 RocketMQ 监控面板,本文将演示该监控面板的使用。

By 邵一鸣 | Thursday, February 29, 2024

背景介绍

Apache RocketMQ 是一个开源的低延迟、高并发、高可用、高可靠的分布式消息中间件, 从SkyWalking OAP 10.0 版本开始, 新增了对 RocketMQ Server的监控面板。本文将展示并介绍如何使用 Skywalking来监控RocketMQ

部署

流程

通过RocketMQ官方提供的RocketMQ exporter来采集RocketMQ Server数据,再通过opentelmetry-collector来拉取RocketMQ exporter并传输到skywalking oap服务来处理

DataFlow:

准备

Skywalking oap服务,v10.0 +

RocketMQ v4.3.2 +

RocketMQ exporter v0.0.2+

Opentelmetry-collector v0.87+

启动顺序

启动 RocketMQ namesrv 和 broker

启动 skywalking oap 和 ui

启动 RocketMQ exporter

启动 opentelmetry-collector

具体如何启动和配置请参考以上链接中官方教程.

需要注意下的是 opentelmetry-collector 的配置文件.

job_name: "rocketmq-monitoring" 请不要修改,否则 skywalking 不会处理这部分数据.

rocketmq-exporter 替换成RocketMQ exporter 的地址.

replacement: rocketmq-cluster 中的rocketmq-cluster如果想要使用下文介绍的服务分层功能,请自行定义为其他服务层级相匹配的名称.

oap 为 skywalking oap 地址,请自行替换.

receivers:
  prometheus:
    config:
      scrape_configs:
        - job_name: "rocketmq-monitoring"
          scrape_interval: 30s
          static_configs:
            - targets: ['rocketmq-exporter:5557']
          relabel_configs:
            - source_labels: [ ]
              target_label: cluster
              replacement: rocketmq-cluster

exporters:
  otlp:
    endpoint: oap:11800
    tls:
      insecure: true

processors:
  batch:
service:
  pipelines:
    metrics:
      receivers:
        - prometheus
      processors:
        - batch
      exporters:
        - otlp

监控指标

指标分为三个维度, cluster,broker,topic