消息队列Kafka版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向消息队列Kafka版发送消息。
前提条件
在开始本教程前,请确保您已完成以下操作:
步骤一:获取接入点
Logstash通过消息队列Kafka版的接入点与消息队列Kafka版建立连接。
- 登录消息队列Kafka版控制台。
- 在左侧导航栏,单击实例详情。
- 在实例详情页面,选择要作为Output接入Logstash的实例。
- 在基本信息区域,获取实例的接入点。
步骤二:创建Topic
创建用于存储消息的Topic。
- 在消息队列Kafka版控制台的左侧导航栏,单击Topic管理。
- 在Topic管理页面,单击创建Topic。
- 在创建Topic页面,输入Topic信息,然后单击创建。
步骤三:Logstash发送消息
在安装了Logstash的机器上启动Logstash,向创建的Topic发送消息。
- 执行cd命令切换到logstash的bin目录。
- 创建output.conf配置文件。
- 执行命令
vim output.conf
创建空的配置文件。
- 按i键进入插入模式。
- 输入以下内容。
input {
input {
stdin{}
}
}
output {
kafka {
bootstrap_servers => "192.168.XXX.XXX:9092,192.168.XXX.XXX:9092,192.168.XXX.XXX:9092"
topic_id => "logstash_test"
}
}
参数 |
描述 |
示例值 |
bootstrap_servers |
消息队列Kafka版提供以下VPC接入点:
|
192.168.XXX.XXX:9092,192.168.XXX.XXX:9092,192.168.XXX.XXX:9092 |
topic_id |
Topic的名称。 |
logstash_test |
- 按Esc键回到命令行模式。
- 按:键进入底行模式,输入wq,然后按回车键保存文件并退出。
- 向创建的Topic发送消息。
- 执行
./logstash -f output.conf
。
- 输入test,然后按回车键。
返回结果如下。

步骤四:查看Topic分区
查看消息发送到Topic的情况。
- 在消息队列Kafka版控制台的左侧导航栏,单击Topic管理。
- 在Topic管理页面,选择作为Output接入Logstash的实例,找到发送消息的Topic,在其右侧操作列单击分区状态。
- 在分区状态页面,单击刷新。
发送的消息的分区ID和位点信息如下图所示。

步骤五:按位点查询消息
您可以根据发送的消息的分区ID和位点信息查询该消息。
- 在消息队列Kafka版控制台的左侧导航栏,单击消息查询。
- 在消息查询页面,单击按位点查询页签。
- 选择发送了消息的Topic,选择发送的消息的分区ID,选择发送的消息的位点,然后单击搜索。
- 可选:在搜索结果右侧的操作列,单击消息详情。
在文档使用中是否遇到以下问题
更多建议
匿名提交