消息队列Kafka版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从消息队列Kafka版消费消息。
背景信息
- 购买并部署消息队列Kafka版实例。具体操作,请参见公网和VPC接入。
- 下载并安装Filebeat。具体操作,请参见Download Filebeat。
- 下载并安装JDK 8。具体操作,请参见Download JDK 8。
步骤一:获取接入点
Filebeat通过消息队列Kafka版的接入点与消息队列Kafka版建立连接。
步骤二:创建Topic
创建用于存储消息的Topic。
步骤三:发送消息
向创建的Topic发送消息。
- 登录消息队列Kafka版控制台。
- 在概览页面的资源分布区域,选择地域。
- 在实例列表页面,单击目标实例名称。
- 在左侧导航栏,单击Topic 管理。
- 在Topic 管理页面,找到目标Topic,在其操作列中,选择 。
- 在快速体验消息收发面板,发送测试消息。
- 发送方式选择控制台。
- 在消息 Key文本框中输入消息的Key值,例如demo。
- 在消息内容文本框输入测试的消息内容,例如 {"key": "test"}。
- 设置发送到指定分区,选择是否指定分区。
- 单击是,在分区 ID文本框中输入分区的ID,例如0。如果您需查询分区的ID,请参见查看分区状态。
- 单击否,不指定分区。
- 根据界面提示信息,通过SDK订阅消息,或者执行Docker命令订阅消息。
- 发送方式选择Docker,运行Docker容器。
- 执行运行 Docker 容器生产示例消息区域的Docker命令,发送消息。
- 执行发送后如何消费消息?区域的Docker命令,订阅消息。
- 发送方式选择SDK,根据您的业务需求,选择需要的语言或者框架的SDK以及接入方式,通过SDK体验消息收发。
- 发送方式选择控制台。
步骤四:创建Group
创建Filebeat所属的Group。
步骤五:Filebeat消费消息
在安装了Filebeat的机器上启动Filebeat,从创建的Topic中消费消息。