Control Center是云消息队列 Confluent 版的核心管理服务,提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。
登录Control Center
创建云消息队列 Confluent 版集群,详情请参见购买和部署实例。
在云消息队列 Kafka 版控制台的实例列表页面,单击目标实例名称。
在实例详情页面,单击右上角的登录控制台,输入用户名和密码登录进入Control Center页面(用户名为购买实例时配置的root账户和密码)。
创建Topic
在主页的左侧导航栏,单击Topics,然后单击右上角的Add topic。
在New Topic页面,设置Topic名称和分区数,单击Create with defaults。
在Topics页面,找到创建好的Topic,单击Topic名称进入Topic详情页。
在Topic详情页,单击Messages页签,然后单击Produce a new message to this topic,向此Topic发送JSON格式的测试数据。
开启Schema格式校验
在目标Topic详情页,单击Schema页签,设置Topic对应的Schema。
目前支持JSON Schema、Avro和Protobuf三种格式的Schema,常用的是Avro格式和JSON Schema格式。由于Control Center只支持发送JSON Schema格式的message,请您测试前将Schema设置为JSON类型。
设置Schema格式后,发送和消费数据时默认不开启格式校验,如果您想要开启格式校验,需要修改配置信息。
如需开启格式校验,您可以单击
,将confluent_value_schema_validation字段设置为true。
查看Broker详情
在主页的左侧导航栏,单击Brokers,查看Broker的基本信息。
在Brokers overview页面,单击Production或Consumption,进入Metrics详情页,查看Producer和Consumer的Throughput,Request latency,Disk使用率等监控指标。
使用KsqlDB
KsqlDB是一个用于Apache Kafka的流式SQL引擎,KsqlDB降低了进入流处理的门槛,提供了一个简单的、完全交互式的SQL接口,用于处理Kafka的数据,可以让我们在流数据上持续执行SQL查询,KsqlDB支持广泛的强大的流处理操作,包括聚合、连接、窗口、会话等。更多关于ksqlDB的信息。请参见KsqlDB官方文档。
架构图
下图分别为传统的流处理应用架构和基于KsqlDB的应用架构示例。通过对比不难看出,流处理引擎以及连接器部分均从之前的独立角色集成到了KsqlDB。除此之外,KsqlDB还通过物化视图提供了流处理过程中的查询功能。
传统的流处理应用架构图
基于KsqlDB应用的架构图
使用KsqlDB
在主页的左侧导航栏,单击ksqlDB,然后单击目标KsqlDB集群名称。
在KsqlDB集群详情页,单击Editor页签,按需创建Stream、使用Ksql命令进行Select查询等操作。详情请参见KSQL快速使用。
创建Stream
CREATE STRAM pageviews_stream WITH (KAFKA_TOPIC='pageviews',VALUE_FORMAT='AVRO');
从Stream中查询数据
SELECT * FROM pageviews_stream EMIT CHANGES;
查看集群配置
在主页的左侧导航栏,单击Cluster settings,查看集群的基本信息。
单击Cluster defaluts页签,查看集群的详情信息,包括Controller、Genenal,Group Management等模块。
RBAC授权使用
RBAC全称为Role Based Access Control,是云消息队列 Confluent 版权限管理的核心功能之一,具体操作请参见RBAC授权。
告警设置
云消息队列 Confluent 版支持一些业务告警配置,具体操作,请参见Control Center设置告警。