通过开源Kafka脚本工具连接Lindorm流引擎

Lindorm流引擎完全兼容开源Kafka API,您可以通过Kafka脚本工具连接Lindorm流引擎,本文介绍如何通过开源Kafka脚本工具连接Lindorm流引擎。

前提条件

  • 已安装Java环境,要求安装JDK 1.7及以上版本。

  • 已将脚本部署实例IP地址添加至Lindorm实例的白名单中,具体操作请参见设置白名单

  • 已获取Lindorm流引擎的Lindorm Stream Kafka地址,具体操作请参见查看连接地址

    说明

    Lindorm流引擎的Lindorm Stream Kafka地址为专有网络地址,需确保应用程序部署的环境和Lindorm实例使用相同的专有网络ID。

操作步骤

  1. 下载开源Kafka脚本工具,下载地址

  2. 解压Kafka开源脚本工具。

    tar -zxf kafka_2.12-2.7.1.tgz
    cd kafka_2.12-2.7.1
  3. 创建topic。

    ./bin/kafka-topics.sh --bootstrap-server <Lindorm Stream Kafka地址> --topic <Topic名> --partitions <Patition数量> --create
  4. 查看全部存在topic。

    ./bin/kafka-topics.sh --bootstrap-server <Lindorm Stream Kafka地址> --list
  5. 删除topic,会删除数据。

    ./bin/kafka-topics.sh --bootstrap-server <Lindorm Stream Kafka地址> --topic <Topic名> --delete
  6. 读取数据。

    ./bin/kafka-console-consumer.sh --bootstrap-server <Lindorm Stream Kafka地址> --topic <Topic名> --from-beginning --max-messages <读取数据量>
  7. 写入数据。

    ./bin/kafka-console-producer.sh --bootstrap-server <Lindorm Stream Kafka地址> --topic <Topic名>
  8. 获取消费组消费详情。

    ./bin/kafka-consumer-groups.sh --bootstrap-server <Lindorm Stream Kafka地址> --group <Group名> --describe