消息队列Kafka版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从消息队列Kafka版消费消息。
背景信息
在开始本教程前,请确保您已完成以下操作:
步骤一:获取接入点
Filebeat通过消息队列Kafka版的接入点与消息队列Kafka版建立连接。
- 登录消息队列Kafka版控制台。
- 在左侧导航栏,单击实例列表。
- 在实例列表页面,单击要作为Input接入Filebeat的实例名称。
- 在实例详情页面的基本信息区域,获取实例的接入点。
步骤二:创建Topic
创建用于存储消息的Topic。
- 登录消息队列Kafka版控制台。
- 在左侧导航栏,单击实例列表。
- 在实例列表页面,单击目标实例名称。
- 在左侧导航栏,单击Topic管理。
- 在Topic管理页面,单击创建Topic。
- 在创建Topic对话框,输入Topic信息,然后单击创建。
步骤三:发送消息
向创建的Topic发送消息。
- 登录消息队列Kafka版控制台。
- 在左侧导航栏,单击实例列表。
- 在实例列表页面,单击目标实例名称。
- 在左侧导航栏,单击Topic管理。
- 在Topic管理页面,找到创建的Topic,在其右侧操作列,单击发送消息。
- 在发送消息对话框,输入消息信息,然后单击发送。
步骤四:创建Consumer Group
创建Filebeat所属的Consumer Group。
- 登录消息队列Kafka版控制台。
- 在左侧导航栏,单击实例列表。
- 在实例列表页面,单击目标实例名称。
- 在左侧导航栏,单击Consumer Group管理。
- 在Consumer Group管理页面,单击创建Consumer Group。
- 在创建Consumer Group对话框,输入Consumer Group信息,然后单击创建。
步骤五:Filebeat消费消息
在安装了Filebeat的机器上启动Filebeat,从创建的Topic中消费消息。
- 执行cd命令切换到Filebeat的安装目录。
- 执行以下命令下载CA证书文件。
wget https://code.aliyun.com/alikafka/aliware-kafka-demos/raw/master/kafka-filebeat-demo/vpc-ssl/ca-cert
- 创建input.yml配置文件。
- 执行命令
vim input.yml
创建空的配置文件。
- 按i键进入插入模式。
- 输入以下内容。
filebeat.inputs:
- type: kafka
hosts:
- 121.XX.XX.XX:9093
- 120.XX.XX.XX:9093
- 120.XX.XX.XX:9093
username: "alikafka_pre-cn-v641e1dt***"
password: "aeN3WLRoMPRXmAP2jvJuGk84Kuuo***"
topics: ["filebeat_test"]
group_id: "filebeat_group"
ssl.certificate_authorities: ["/root/filebeat/filebeat-7.7.0-linux-x86_64/ca-cert"]
ssl.verification_mode: none
output.console:
pretty: true
参数 |
描述 |
示例值 |
hosts |
消息队列Kafka版提供的公网接入点为SSL接入点。
|
- 121.XX.XX.XX:9093
- 120.XX.XX.XX:9093
- 120.XX.XX.XX:9093 |
username |
公网/VPC实例的用户名。 |
alikafka_pre-cn-v641e1d*** |
password |
公网/VPC实例的密码。 |
aeN3WLRoMPRXmAP2jvJuGk84Kuuo*** |
topics |
Topic的名称。 |
filebeat_test |
group_id |
Consumer Group的名称。 |
filebeat_group |
ssl.certificate_authorities |
CA证书所在位置。 |
/root/filebeat/filebeat-7.7.0-linux-x86_64/ca-cert |
ssl.verification_mode |
认证模式。 |
none |
更多参数设置,请参见Kafka input plugin。
- 按Esc键回到命令行模式。
- 按:键进入底行模式,输入wq,然后按回车键保存文件并退出。
- 执行以下命令消费消息。
./filebeat -c ./input.yml
在文档使用中是否遇到以下问题
更多建议
匿名提交