什么是Deepytorch Training（训练加速）
通信多流优化：通常情况下，因网络带宽没有被充分利用，会导致上层集合通信算法的跨机性能无法达到最优。而采用基于TCP/IP的多流功能，提升分布式训练的并发通信能力，可以实现多机训练性能提升5%~20%。多机CPU-Reduce：该优化继承了单机内...
通过配置文件管理管道
阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍如何通过配置文件管理管道，包括创建管道、修改管道、复制管道和删除管道。前提条件 您已完成以下操作：创建阿里云Elasticsearch实例。具体操作，请参见 创建阿里云...
通过Logstash修改字段名
更多管道配置说明，请参见 通过配置文件管理管道 和 Logstash配置文件说明。警告 配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。单击 保存 或者 保存并部署。保存：将...
通过Logstash切分数据并提取到字段中
更多管道配置说明，请参见 通过配置文件管理管道 和 Logstash配置文件说明。警告 配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。单击 保存 或者 保存并部署。保存：将...
领域模型概述
一对多通信：基于独立身份的设计，同一个主题内的消息可以被多个订阅组处理，每个订阅组都可以拿到全量消息。因此发布订阅模型可以实现一对多通信。传输模型对比 点对点模型和发布订阅模型各有优势，点对点模型更为简单，而发布订阅模型的...
通过Logstash实现多字段数据整合
更多管道配置说明，请参见 通过配置文件管理管道 和 Logstash配置文件说明。警告 配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。单击 保存 或者 保存并部署。保存：将...
媒体处理常见问题
目前媒体处理每个用户只能开一个管道，无法创建多管道，所以会出现Only one topic can be created！这个错误。开启管道或添加管道，请参见 创建管道。媒体处理服务中AliyunAudioCodec中Profile字段的说明。媒体处理中的音频编解码配置类型...
使用Topic通信
定义Topic后，设备可以通过Topic与物联网平台通信，从而实现设备、物联网平台、业务服务器、其他云产品之间的通信。前提条件 使用物模型Topic通信，需要先 添加物模型。使用自定义Topic通信，需要先定义产品Topic类，具体步骤请参见 使用...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
管道概述
应用场景 通过创建多个管道，用于区分、管理不同的生产队列。通过暂停、开启管道，设置任务优先级，灵活控制生产需求。为管道配置MNS消息，接收异步任务处理结果。为管道配置监控报警，对转码任务数等指标进行监控。使用限制 不同类型管道...
管道管理
管道ID,可以在MPS控制台>全局设置>管道及回调查看,或通过addPipeline创建/支持查询多个管道ID,一次最多查询10个,使用半角逗号（,）分隔 request.setPipelineIds("e03549d796fad2bcb32a*");return client.getAcsResponse(request);} 通过...
启动方式与环境变量说明
1：若存在多个节点，每个节点多卡，会做两级通信，节点内部先reduce到一张卡上，然后每个节点一张卡参与第二级通信。默认为Perseus自动选择。若不设置，Perseus自动选择AllReduce通信模式。Perseus会自动选择最优值，一般情况下不建议您...
使用Logstash管道配置调试功能
当Logstash管道配置出现错误时，可能导致输出数据结果不符合预期，需要反复去目标端确认数据格式，再返回控制台修改配置，这样会耗费大量的时间和人力。...对于多个管道，您可在搜索框中输入 pipelineId:<管道ID>过滤对应的日志。
使用限制
管道内作业数量 每个管道最多可容纳10000个排队作业。提交作业。管道内作业并发 管道受资源情况影响，不保证并发能力，默认并发数请参见 创建管道。提交作业。自定义转码模板 每个用户在每个服务地域不超过10个。在控制台创建转码模板。...
基于eRDMA增强型实例部署AI训练集群
在NCCL底层通信链接上，有多种不同的传输方式，例如单机内部多卡P2P通信以及多机上的传统socket通信（如VPC网络）和高性能的InfiniBand（IB）通信，其中eRDMA是一种基于RDMA的传输方式，具有极低的延迟，并且在性能上接近RDMA网络的优势。...
什么是物联网平台
阿里云物联网平台是一个集成了设备接入、设备管理、数据安全通信、消息订阅、消息转发和数据服务（存储、分析、过滤、解析、集成等）等能力的一体化平台。向下支持连接海量设备，采集设备数据上云；向上提供云端API，服务端可通过云端SDK...
DBMS_PIPE
如果管道包含多条消息，函数 RECEIVE_MESSAGE 以先进先出的顺序接收消息。存储过程 PACK_MESSAGE 创建的消息和函数 RECEIVE_MESSAGE 获取的消息，每一个会话为这两种消息分别保持各自不同的消息缓冲区。可以在相同的会话中创建和接收消息。...
最佳实践概览
应用场景 最佳实践文档 公网 建立高可用的IPsec-VPN连接 IPsec-VPN联合物理专线实现主备链路上云（绑定转发路由器）建立多条公网IPsec-VPN连接实现流量的负载分担 私网 通过私网IPsec-VPN连接实现私网流量加密通信 建立多条私有IPsec-...
什么是高速通道
安全 在网络虚拟化层进行网络间通信，多租户互相隔离，避免私密数据在传输过程中被窃取。按需购买 高速通道提供不同的带宽规格。您可以根据您的业务需求按需购买，成本可控。物理专线和VPN网关对比 您可以通过高速通道物理专线或VPN网关...
什么是AI通信加速库Deepnccl
通信多流优化：通常情况下，因网络带宽没有被充分利用，会导致上层集合通信算法的跨机性能无法达到最优。而采用基于TCP/IP的多流功能，提升分布式训练的并发通信能力，可以实现多机训练性能提升5%~20%。多机CPU-Reduce：该优化继承了单机内...
什么是AI分布式训练通信优化库AIACC-ACSpeed
多机间优化 通过ACSpeed优化，可以实现多机之间通信的性能提升，主要体现在高效的AllReduce算法和多流通信优化方面。高效AllReduce算法 问题分析 以V100实例为例，单机内部利用nvlink做P2P通信，带宽高达300 GB/s，而多机网络性能在100 ...
基于MQTT Topic通信
背景信息 Topic是设备与物联网平台之间通信的管道，设备可通过Topic实现消息的发送和接收。Topic格式必须以/进行分层，区分每个类目。自定义Topic的前三个类目已经规定好，第一个代表产品标识 ProductKey，第二个${deviceName} 通配...
管道
访问规则<图片URL>@|<action2>URL通过@符号后面的处理参数（action1,action2）来实现即时云处理，如果有多任务（比如先做缩略，再加上水印）可以用管道来实现，执行顺序按管道指定顺序执行，目前最多支持四级管道。管道的分隔符是竖线（|）...
集成组件库开发说明
更多操作 一个管道画布支持有多个管道脚本同时构建，同时您也可以在管道画布中右键单击执行如下操作。操作 描述 复制 复制管道画布中已有的组件。粘贴 将选复制的管道组件粘贴在管道画布中。删除 删除选中的组件。全选 选中管道画布中的...
集成组件库开发说明
更多操作 一个管道画布支持有多个管道脚本同时构建，同时您也可以在管道画布中右键单击执行如下操作。操作 描述 复制 复制管道画布中已有的组件。粘贴 将选复制的管道组件粘贴在管道画布中。删除 删除选中的组件。全选 选中管道画布中的...
使用云边通信Raven组件
在 ACK Edge集群 中，跨网络域通信组件Raven提供了基础的多地域网络通信能力，以实现云边运维能力。您可以配置Raven组件，选择云边通信模式（代理模式、隧道模式），也可以增删访问控制白名单条目，放行边缘网关节点以使其与云上构建隧道。...
管道管理
管道ID，多个管道用','分隔$request->setPipelineIds("0ba6fb1ab75271a2e1293*");return$client->getAcsResponse($request);} 更新管道 通过 UpdatePipeline 更新管道信息，包括更新管道名称，状态。管道的状态包括Active、Paused。...
设备使用物模型通信
本文介绍设备与物联网平台之间，如何通过物模型实现多场景消息通信。背景信息 物联网平台提供的物模型功能定义和使用说明，请参见 什么是物模型。物联网平台物模型通信Topic定义和通信说明，请参见 什么是Topic 和 使用Topic通信。设备与物...
什么是Topic
更多通信方式，请参见 物联网平台通信方式概述。设备接入、物模型使用的入门视频，请参见 设备接入。不同协议、不同类型设备接入物联网平台的流程，请参见 设备接入概述。设备端Link SDK的下载方式，请参见 设备接入Link SDK。物模型Topic...
概述
背景信息 广播通信的更多信息，请参见 广播通信。物联网平台提供云端API PubBroadcast，实现广播通信功能。更多信息，请参见 PubBroadcast。功能原理 应用程序通过调用C Link SDK的API，基于 MQTT协议的连接，接收并应答物联网平台下发的...
视频双流规格配置说明
实现方式 在多用户视频通信时，您可以通过调用 setVideoEncoderConfiguration 接口将发布端的视频分辨率和码率适当调低，或调用 publishLocalDualStream 接口开启双流模式并通过调用 setRemoteVideoStreamType 接口设置订阅端默认订阅小流...
组播概述
企业版转发路由器支持组播通信。企业版转发路由器连接网络实例后，可以帮助您创建和管理组播网络，并作为组播路由器帮助您转发网络实例间的组播流量。背景信息 什么是组播 组播是一种网络通信模式，通常应用于一个服务器同时向一组客户端...
网络最大传输单元MTU
理论上MTU越大，可在单个数据包中传递的数据越多，网络通信越高效。本文介绍巨型帧相关功能以及如何修改ECS实例网卡的MTU。巨型帧（Jumbo frames）巨型帧是指有效负载超过IEEE 802.3标准所限制的1500字节的以太网帧，增大的有效载荷百分比...
云安全中心反弹Shell多维检测技术详解
第二类反弹Shell：通过管道、伪终端等中转，再重定向Shell的输入输出到中转 此类反弹Shell借助管道、伪终端等进行中转，例如下面这个典型案例将 sh-i 的标准输入、标准输出、标准错误重定向到命名管道/tmp/f，同时加密通信数据也流向该命名...
IPsec VPN第二阶段协商成功但无法正常通信
多网段场景下部分网段通信不正常 多网段场景下，建议使用IKE V2协议。如果已经使用了IKE V2协议但问题仍然存在，建议检查本地IDC的VPN网关的SA状态，正常情况下只有一个SA，例如 172.30.96.0/19=10.0.0.0/8 172.30.128.0/17。注意：线上线...
一机一密
根据实际业务需求，完成设备端SDK开发，例如设备物模型Topic通信、设备自定义Topic通信、OTA升级、设备影子等功能开发。设备端开发，请参见 下载设备端SDK。在产线上，将已开发完成的设备SDK烧录至设备中。设备联网认证：设备上电联网后，...
查询网络通信距离（NCD）
PAI灵骏提供了统一的网络通信距离NCD（Network Communication Distance）查询接口，供您对GPU节点（或网卡）间的通信距离进行查询，以实现更优的任务调度，获得最佳的训练性能。本文为您介绍NCD的基本概念、使用NCD的原因以及如何使用NCD。...
查询分析RocketMQ客户端日志
Elasticsearch、Logstash、Kibana和Beats，具有日志汇聚、快速分析、可视化展示等能力，与开源产品相比具有以下优势：Beats和Logstash服务部署在专有网络VPC（Virtual Private Cloud）中，所有数据私网通信，高速且安全。Elastic Stack全栈...
通过Logstash将RDS MySQL数据同步至Elasticsearch
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
阿里云Elasticsearch数据采集解决方案
阿里云Logstash作为服务器端的数据处理管道，提供了100%兼容开源的Logstash功能，能够动态地从多个来源采集数据、转换数据，并且将数据存储到所选择的位置。通过输入、过滤和输出插件，Logstash可以对任何类型的事件进行加工和转换。...
- 产品推荐
- 这些文档可能帮助您