云边通信组件Raven概述
工作原理 以下图为例，列出了典型的云边协同场景。节点池A：云节点池。所有节点在一个VPC内，选择一个主机作为网关节点（图例为绿色），采用云上负载均衡SLB暴露至公网。节点池B：数据中心。节点之间三层网络互通，通过专线方式与云上VPC...
通过Logstash将RDS MySQL数据同步至Elasticsearch
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
数据转发到另一Topic
工作原理 消息转发的云产品流转功能可以将Topic1中的数据转发到Topic2内。数据流转示意图如下。云产品流转可以将设备1的Topic1消息转发给另一个具备订阅权限设备2的Topic2，设备2订阅Topic2，即可接收设备1的Topic1消息，实现不同设备间的...
开源MQTT托管设备认证
背景信息 仅需要使用MQTT连接和消息上下行的场景中，为降低使用成本，设备接入物联网平台 MQTT型 企业版实例时，可使用Username、Password、SN信息作为设备密钥进行设备身份认证。...通信原理与云网关设备通信原理相同，请参见 消息通信说明。
AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
使用前须知
本文介绍该应用的功能、工作原理、资产、费用等信息。重要 本文档为阿里云原创文档，知识产权归阿里云所有，由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三方公司或产品等名称。功能说明 提供便捷的配置，帮助您...
ALB Ingress概述
本文介绍Ingress基本概念、ALB Ingress Controller工作原理和ALB Ingress Controller使用说明。Ingress基本概念 在Kubernetes集群中，Ingress作为集群内服务对外暴露的访问接入点，几乎承载着集群内服务访问的所有流量。Ingress是...
视图计算安全篇之URL鉴权
本文为您介绍URL鉴权的工作原理。为了保障监控视频流上云的安全性，防止接入域名/播放域名被非法盗取，内容被未经授权方播放，视图计算产品默认会对推流域名（RTMP推流使用），播流域名（RTMP、国标GB28181）进行URL鉴权。通过防盗链方法...
提高logstash写入速度
问题描述 阿里云logstash同步数据时，如何加快数据写入 解决方案 您好，可以使用以下方式提高阿里云logstash写入速度：1.阿里云logstash管道增加管道批大小，...2.管道配置中增加管道工作线程，结合集群写入压力和logstash负载进行适当增加。
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
Logstash性能排查
在Logstash系统资源充足的情况下，调试Logstash管道工作线程数和管道批量处理事件数时，建议您优先调整管道批大小（写入到Elasticsearch场景，单bulk建议在5 MB左右），待目标端写入无法增加时，再调整管道工作线程数。详细信息请参见 检查...
前言
工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，并设置资源的默认配置，以及输入输出的格式。提交 App 作业：提交作业时，按照上述资源配置启动虚拟机镜像或 Docker 镜像，使用用户输入的数据运行软件...
补丁管理原理介绍
该文档会详细介绍补丁管理的工作原理，以及如何扫描系统上的补丁状态，安装缺失的补丁等。Linux 补丁管理支持的Linux系统包括 CentOS/Alibaba Cloud Linux/Debian/Ubuntu 等，不同OS使用不同的包管理工具，具体如下，不同包管理工具扫描、...
方案概述
本文为您介绍私网流量加密通信原理和配置方案。重要 如果您需要实现私网流量加密通信，更推荐您使用私网IPsec连接绑定转发路由器的方式。具体操作，请参见 建立多条私有IPsec-VPN连接实现私网流量的负载分担。私网流量加密通信原理 在本地...
加密解密与签名验签的原理
加密SDK（Encryption SDK）支持加密解密、签名验签，了解其工作原理可以帮助您更好地使用加密SDK。加密解密原理 加密原理 加密SDK使用数字信封对数据进行加密。加密SDK支持通过用户主密钥（CMK）保护数据密钥（DataKey），使用数据密钥加密...
常见问题
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
加工原理
本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工功能使用协同消费组对源日志库的日志数据进行流式消费，将每一条日志通过加工规则处理后再输出。调度机制 对每一个加工规则，...
基于Logstash迁移OSS数据
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
服务集成模式
Name:调用函数示例 Type:Task TaskMode:WaitForCustomCallback Action:FC:InvokeFunction Parameters:resourceArn:acs:fc:services/myService1.LATEST/functions/myFunction1 invocationType:Async body:xxxx 用户自定义回调的工作原理如下...
通过阿里云Logstash将MaxCompute数据同步至Elastic...
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
通过Logstash同步Azure Event Hubs数据至Elastic...
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
DescribePipeline
workers Integer 2 管道工作线程数。description String this is a test 管道描述。gmtCreatedTime String 2020-06-20T07:26:47.000+0000 管道创建时间。batchSize Integer 125 管道批大小。pipelineStatus String RUNNING 管道状态。支持...
基本概念
为了便于您更好的理解和使用媒体处理产品，您可以在使用前了解媒体处理中管道、工作流、转码模板、转封装等基本概念。媒体处理产品级别概念 作业/任务（Job）作业/任务（Job）是MPS中的一个抽象概念。常见类型：提交媒体信息作业、提交转码...
UpdatePipelines
workers Integer 否 2 管道工作线程数。batchSize Integer 否 125 管道批大小。batchDelay Integer 否 50 管道批延迟。单位ms。queueType String 否 MEMORY 队列类型。支持MEMORY和PERSISTED。pipelineStatus String 否 RUNNING 管道状态，...
查询日志
Logstash的管道工作线程数配置太小：增加Logstash的管道批大小和工作线程数，详细信息请参见 通过配置文件管理管道。GC日志 垃圾回收器日志。显示所有JVM堆内存占用触发的垃圾回收情况，通过GC日志可获取详细的垃圾回收信息，包括Old GC、...
CreatePipelines
workers Integer Body 否 2 管道工作线程数。默认值：实例的CPU核数。batchSize Integer Body 否 125 管道批大小。默认值：125。batchDelay Integer Body 否 50 管道批延迟。单位：毫秒，默认值：50。queueType String Body 否 MEMORY 队列...
基于reindex实现低版本多type数据迁移
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
腾讯云ES数据迁移至阿里云
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过阿里云Logstash将自建Elasticsearch数据迁移至...
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
HaaS EDU场景式应用整体介绍
本案例中包含以下主要知识点：I2C通信原理 SI7006数字温湿度传感器 OLED绘图 通过本案例的学习，能完整的学习到AliOS Things中I2C通信、传感器数据读取OLED绘图显示等等操作。同时，还能扩展到Linkkit远程温湿度监控的案例打造，可以打造出...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
使用阿里云ES监控RabbitMQ
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
设备接入引导
通信原理的详细说明，请参见 什么是Topic。定义物模型功能：如果设备使用物模型Topic与物联网平台通信，需要在物联网平台为设备所属产品定义物模型功能。添加物模型的具体操作，请参见 单个添加物模型、批量添加物模型。通信的具体说明，请...
快速入门
在配置的管道参数中，管道工作线程 配置为实例的CPU核数，其他参数均为默认值。详细参数说明，请参见 通过配置文件管理管道。单击 保存 或者 保存并部署。保存：将管道信息保存在Logstash里并触发实例变更，配置不会生效。保存后，系统会...
入侵防御原理介绍
挖矿行为 挖矿行为是一种占用机器带宽和算力的恶意行为，会导致系统卡顿和性能下降，从而导致应用程序运行缓慢、响应延迟等问题，对用户的工作效率和体验产生负面影响。通常，这类事件会导致主机失陷。如果在 观察模式 下发现规则命中，就...
操作指南概述
使用说明 为了快速理解接入流程，建议您提前阅读本产品的核心概念，包括作业/任务、管道、工作流、模板等。详细说明请参见 基本概念。流程概述 MPS支持转码、截图、获取媒体信息、视频AI等多种媒体处理任务。各类任务的 核心接入流程一致，...
- 产品推荐
- 这些文档可能帮助您