Control Center基本使用

Control Center是云消息队列 Confluent 版的核心管理服务,提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。

登录Control Center

  1. 创建云消息队列 Confluent 版集群,详情请参见购买和部署实例

  2. 云消息队列 Kafka 版控制台实例列表页面,单击目标实例名称。

  3. 实例详情页面,单击右上角的登录控制台,输入用户名和密码登录进入Control Center页面(用户名为购买实例时配置的root账户和密码)。

创建Topic

  1. 在主页的左侧导航栏,单击Topics,然后单击右上角的Add topic

  2. New Topic页面,设置Topic名称和分区数,单击Create with defaults

  3. 在Topics页面,找到创建好的Topic,单击Topic名称进入Topic详情页。

  4. 在Topic详情页,单击Messages页签,然后单击Produce a new message to this topic,向此Topic发送JSON格式的测试数据。image

开启Schema格式校验

  1. 在目标Topic详情页,单击Schema页签,设置Topic对应的Schema。

    目前支持JSON Schema、Avro和Protobuf三种格式的Schema,常用的是Avro格式和JSON Schema格式。由于Control Center只支持发送JSON Schema格式的message,请您测试前将Schema设置为JSON类型。image

  2. 设置Schema格式后,发送和消费数据时默认不开启格式校验,如果您想要开启格式校验,需要修改配置信息。

    如需开启格式校验,您可以单击Configuration > Edit settings > Switch to expert mode ,将confluent_value_schema_validation字段设置为true

查看Broker详情

  1. 在主页的左侧导航栏,单击Brokers,查看Broker的基本信息。image.png

  2. Brokers overview页面,单击ProductionConsumption,进入Metrics详情页,查看Producer和Consumer的Throughput,Request latency,Disk使用率等监控指标。imageimage

使用KsqlDB

KsqlDB是一个用于Apache Kafka的流式SQL引擎,KsqlDB降低了进入流处理的门槛,提供了一个简单的、完全交互式的SQL接口,用于处理Kafka的数据,可以让我们在流数据上持续执行SQL查询,KsqlDB支持广泛的强大的流处理操作,包括聚合、连接、窗口、会话等。更多关于ksqlDB的信息。请参见KsqlDB官方文档

架构图

下图分别为传统的流处理应用架构和基于KsqlDB的应用架构示例。通过对比不难看出,流处理引擎以及连接器部分均从之前的独立角色集成到了KsqlDB。除此之外,KsqlDB还通过物化视图提供了流处理过程中的查询功能。

  • 传统的流处理应用架构图image

  • 基于KsqlDB应用的架构图image

使用KsqlDB

  1. 在主页的左侧导航栏,单击ksqlDB,然后单击目标KsqlDB集群名称。

  2. 在KsqlDB集群详情页,单击Editor页签,按需创建Stream、使用Ksql命令进行Select查询等操作。详情请参见KSQL快速使用

    • 创建Stream

      CREATE STRAM pageviews_stream WITH (KAFKA_TOPIC='pageviews',VALUE_FORMAT='AVRO');
    • 从Stream中查询数据

      SELECT * FROM pageviews_stream EMIT CHANGES;

查看集群配置

  1. 在主页的左侧导航栏,单击Cluster settings,查看集群的基本信息。

  2. 单击Cluster defaluts页签,查看集群的详情信息,包括Controller、Genenal,Group Management等模块。

RBAC授权使用

RBAC全称为Role Based Access Control,是云消息队列 Confluent 版权限管理的核心功能之一,具体操作请参见RBAC授权

告警设置

云消息队列 Confluent 版支持一些业务告警配置,具体操作,请参见Control Center设置告警