概述
本示例仅介绍子设备通过网关接入物联网平台，不涉及物模型数据通信等通信配置。如果您的子设备与物联网平台之间，需进行物模型数据通信，请配置网关代理子设备进行物模型数据通信。配置方法，请参见 物模型通信。说明 网关如何与子设备进行...
通过单条管道创建集成任务
在 创建管道开发脚本 对话框中，配置管道相关参数。参数 描述 管道名称 填写管道名称。命名规则：支持最长64个字符，不支持以下特殊字符：|\/:?调度类型 选择管道的调度类型。调度类型 包括：周期性节点：指需定期执行的任务。手动节点...
通过单条管道创建集成任务
在 创建管道开发脚本 对话框中，配置管道相关参数。参数 描述 管道名称 填写管道名称。命名规则：支持最长64个字符，不支持以下特殊字符：|\/:?调度类型 选择管道的调度类型。调度类型 包括：周期性节点：指需定期执行的任务。手动节点...
使用Logstash管道配置调试功能
例如，设置3月5日13点20分执行任务：schedule=>"20 13 5 3*"单击 下一步，配置管道参数。管道配置参数的详细信息，请参见 通过配置文件管理管道。保存并部署管道。保存：将管道信息保存在Logstash里并触发实例变更，配置不会生效。保存后，...
Logstash数据写入问题排查方案
重新购买同一专有网络下的Logstash和Elasticsearch实例，并重新配置管道。检查NAT配置是否错误。NAT条目地址或端口定义错误。NAT网关类型不符合场景。根据具体情况，按照以下方式处理：检查NAT条目地址和端口，确保网络互通。SNAT和DNAT...
查询日志
对于这种情况，您可以通过阿里云Logstash提供的管道配置调试功能，在管道配置完成后，直接在控制台上通过调试日志查看管道配置的输出结果，降低调试成本。详细信息，请参见 使用Logstash管道配置调试功能。调试日志默认关闭，您需要通过...
通过Logstash修改字段名
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { elasticsearch { hosts=>["http://es-cn-tl32gid*.elasticsearch.aliyuncs.com:9200"]user=>"elastic"password=>"your_password"index=>"product_info...
通过配置文件管理管道
重要 为了提升安全性，在使用JDBC驱动并配置管道时，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件的时候，调度系统会抛出校验失败的提示，例如 jdbc_...
配置脚本模式组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 脚本模式输出配置 对话框。在 脚本模式输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
什么是阿里云Logstash
通过配置文件管理管道 使用Logstash管道配置调试功能 相关文档 数据同步 MySQL数据同步：通过Logstash将RDS MySQL数据同步至Elasticsearch MaxCompute数据同步：通过阿里云Logstash将MaxCompute数据同步至Elasticsearch PolarDB-X（DRDS）...
Logstash FAQ
目前，Logstash只支持通过Config配置文件配置管道，实现数据传输。详细信息，请参见 通过配置文件管理管道。Logstash支持配置HTTP采集协议吗？支持。Logstash支持通过HTTP或HTTPS接收单行或多行事件，详细信息请参见 Http input plugin 。...
配置限速流程组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。在离线单条管道脚本的开发页面，按照下图操作指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
配置Vertica输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
基于Logstash迁移OSS数据
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { oss { endpoint=>"oss-cn-hangzhou-internal.aliyuncs.com" bucket => "zl-ossoutoss" access_key_id => "LTAIaX42ddd*"access_key_secret=>"zuyBRUUndddddds3e6...
配置字段计算转换组件
配置属性 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。输入...
配置PostgreSQL输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PostgreSQL输出配置 对话框。在 PostgreSQL输出配置 对话框，配置参数。参数 描述 步骤名称 根据...
快速入门
单击 下一步，配置管道参数。在配置的管道参数中，管道工作线程 配置为实例的CPU核数，其他参数均为默认值。详细参数说明，请参见 通过配置文件管理管道。单击 保存 或者 保存并部署。保存：将管道信息保存在Logstash里并触发实例变更，...
腾讯云ES数据迁移至阿里云
例如，设置3月5日13点20分执行任务：schedule=>"20 13 5 3*"单击 下一步，配置管道参数。参数 说明 管道工作线程 并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。...
配置SAP HANA输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 SAP HANA输出配置 对话框。在 SAP HANA输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置OceanBase输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 OceanBase输出配置 对话框。在 OceanBase输出配置 对话框，配置参数。参数 说明 步骤名称 根据...
通过Logstash同步Azure Event Hubs数据至Elastic...
在 创建管道任务 页面，输入 管道ID 并配置管道。本文使用的管道配置如下。input { azure_event_hubs { event_hub_connections=>["Endpoint=sb:/abc-*.*.cn/;SharedAccessKeyName=gem-*-es-consumer;SharedAccessKey=*;EntityPath=xxxxxx"]...
配置PolarDB输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB输出配置 对话框。在 PolarDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置字段选择转换组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段选择配置 对话框。在 字段选择配置 对话框，配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。输入字段 ...
通过Filebeat采集Apache日志数据
参考如下示例配置管道，详细配置方法请参见 通过配置文件管理管道。input { beats { port=>8000 } } filter { json { source=>"message"remove_field=>"@version"remove_field=>"prospector"remove_field=>"beat"remove_field=>"source...
配置MongoDB输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的...
Logstash性能排查
检查管道参数配置 管道工作线程：该参数值设置使用多少线程来处理filter和output任务，默认为CPU核数。如果CPU使用率不高，可适当调大该参数，提高处理性能。管道批大小：该参数设置每个独立的工作线程，对接收到的多少个事件做filter和...
配置PolarDB-X输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB-X（原DRDS）输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出...
提高logstash写入速度
问题描述 阿里云logstash同步数据时，如何加快数据写入 解决方案 您好，可以使用以下方式提高阿里云logstash写入速度：1.阿里云logstash管道增加管道批大小，...2.管道配置中增加管道工作线程，结合集群写入压力和logstash负载进行适当增加。
配置ElasticSearch输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 ElasticSearch输出配置 对话框。在 ElasticSearch输出配置 对话框，配置参数。参数 说明 步骤名称...
基于reindex实现低版本多type数据迁移
在 创建管道任务 页面，输入 管道ID 并配置管道。本文使用的管道配置如下。input { elasticsearch { hosts=>["http://es-cn-0pp1f1y5g000h*.elasticsearch.aliyuncs.com:9200"]user=>"elastic"index=>"*"password=>"your_password"docinfo=...
通过阿里云Logstash将自建Elasticsearch数据迁移至...
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { elasticsearch { hosts=>["http://<自建Elasticsearch Master节点的IP地址>:9200"]user=>"elastic"index=>"*,-.monitoring*,-.security*,-.kibana*"password...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
在 创建管道任务 页面，输入 管道ID 并配置管道。本文使用的管道配置如下。input { kafka { bootstrap_servers=>["alikafka-post-cn-zvp2n4v7*-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-zvp2n4v7*-2-vpc.alikafka.aliyuncs....
配置条件分发流程组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 条件分发设置 对话框。根据 条件分发设置 对话框提示，配置参数。参数 描述 步骤名称 根据当前...
使用阿里云ES监控RabbitMQ
在 创建管道任务 页面，输入 管道ID 并配置管道。本文使用的管道配置如下。input { beats { port=>8100 } } filter { grok { match=>{"message"=>["%{TIMESTAMP_ISO8601:timestamp} \[%{LOGLEVEL:log_level}\]\<%{DATA:field_misc}\>%{...
Logstash配置文件说明
为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件的时候，调度系统会抛出校验失败的提示，例如 jdbc_...
配置MongoDB输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入单条管道脚本的开发页面。按照下图指引，进入 MongoDB输入配置 对话框。在 MongoDB输入配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写名称。数据源 选择数据...
通过Logstash将RDS MySQL数据同步至Elasticsearch
为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在jdbc_connection_string参数后面添加allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件时，调度系统会抛出校验失败的提示，例如 jdbc_connection...
步骤三：引入数据
步骤三：配置管道脚本的调度参数 在管道脚本页面，单击 调度配置。在 调度配置 页面，配置 调度依赖 区域参数，其他参数保持默认。参数 描述 上游依赖 单击 添加根节点 为上游依赖。单击 确定。步骤四：提交和发布离线单条管道脚本 单击...
步骤三：引入数据
步骤三：配置管道脚本的调度参数 在管道脚本页面，单击 调度配置。在 调度配置 页面，配置 调度依赖 区域参数，其他参数保持默认。参数 描述 上游依赖 单击 添加根节点 为上游依赖。单击 确定。步骤四：提交和发布离线单条管道脚本 单击...
配置SAP HANA输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发页面。按照下图指引，进入 SAP HANA输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 SAP HANA 组件至左侧的管道画布中。④ 鼠标放置...
- 产品推荐
- 这些文档可能帮助您