创建项目
该值为 10 表示同一时间可以并行处理 10 个任务（如文档格式转换、图片标签检测等），查询类 API（如 GetImage 获取图片信息）也会占用该额度。如果您有更高的并行处理要求，请使用钉钉搜索钉钉群号31690030817加入钉钉群进行反馈。授权...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
使用多机MPP对海量数据分析提速
多机并行执行可以处理多种类型的AP负载，IMCI的优化器可以准确判断出适合查询语句的TP，并选择单机执行AP或多机并行执行AP，最终将查询语句调度到适合的列存节点上。适用场景 通过多机并行的资源弹升能力扩展CPU和IOPS，降低查询时延。通过...
基本概念
VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中“云”指的是中心云计算，“边”指的是边缘云计算。云边一体主要是针对提供用户...
热点行优化
这样的流水线式的处理方式能够充分利用硬件资源，提升CPU的使用率，提高数据库系统的并行处理能力，从而最大限度地提升数据库系统的吞吐量。消除申请行锁时的等待 为了保证数据的逻辑一致性，对一个数据行进行更新时，首先会对该数据行加锁...
构建基于Serverless架构的弹性高可用音视频处理系统
如果想要搭建音视频处理系统，可以直接上云购买ECS服务器部署服务，通过OSS、CDN等技术完成音视频的存储和音视频的播放加速。Serverless方案 简单视频处理系统 如果您只需要对视频进行简单的处理，方案架构图如下。当用户上传一个视频到OSS...
概述
跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询，具体可参见 使用跨机并行查询进行分析型查询。PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机...
概述
跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询，具体可参见 使用跨机并行查询进行分析型查询。PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
Impala概述
注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive命令删除，否则会导致该表不可用。优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
什么是人工智能平台PAI
支持一站式机器学习，您只需准备好训练数据（存放到OSS或MaxCompute中），所有建模工作（包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境）都可以通过PAI实现。对接DataWorks，支持SQL、UDF、UDAF、MR...
简介
同一任务的各个实例并行处理各自的输入数据。镜像 Image 镜像（Image）是集群资源创建或者作业运行环境的模板。它是一个标准的或者自定义的 ECS 镜像，需要安装 BatchCompute Agent，然后授权给 BatchCompute 服务使用
虚拟机自定义规范创建
可以更改计算机名称、网络设置和许可证设置。自定义客户机操作系统可以快速设置虚拟机操作系统主机名、IP地址、子网掩码、网关等信息。您可以在虚拟机部署期间或之后应用自定义。在克隆或部署过程中，您可以指定自定义设置或选择现有自定义...
集群消费和广播消费
适用场景 通知公告：当某个重要公告或通知发布时，系统可以使用广播消费模式，将通知发送给所有订阅了该消息的用户。这样可以确保每个用户都能及时收到通知，并避免遗漏。实时数据同步：在分布式系统中，有时需要将某个数据进行实时同步，...
应用场景
ACSpeed进行AI训练的典型业务场景如下所示：场景 适用模型 常用存储 图像分类、图像识别 Resnet、VGG16模型等，以及Stable Diffusion等AIGC模型 并行文件存储系统CPFS CTR预估 Wide&Deep模型 文件系统HDFS NLP自然语言处理 Transformer、...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
系统防护
系统防护即从整体维度对应用入口流量进行控制，结合应用的Load、总体平均RT、入口QPS和线程数等几个维度的监控指标，让系统的入口流量和系统的负载达到一个平衡，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。背景信息 长期以来...
名词解释
同一任务的各个实例并行处理各自的输入数据。实例是 BatchCompute 调度与执行的最小单元，这些实例会动态的运行在系统分配的虚拟服务器节点上。集群 一系列的VM实例组在 BatchCompute 中被定义为一个集群（Cluster）。一个集群可以由多个...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
如何使用Prometheus监控Windows
CPU指标 CPU作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，您可以关注以下主要指标。指标名称 指标级别 指标来源 指标说明 CPU使用率（%）Critical WMI（PercentProcessorTime）若长时间CPU使用率达到100%，表示...
如何使用Prometheus监控Windows
CPU指标 CPU作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，您可以关注以下主要指标。指标名称 指标级别 指标来源 指标说明 CPU使用率（%）Critical WMI（PercentProcessorTime）若长时间CPU使用率达到100%，表示...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据...优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。适用于 数据可视化DataV
音视频弹性处理
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案，部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
数据源读取时间超时的优化思路
优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。总体来说，如果读取数据源超过了DataV的超时时间，就意味着查询数据的方式较为复杂，可以通过优化查询时间...
数据源读取时间超时的优化思路
优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。总体来说，如果读取数据源超过了DataV的超时时间，就意味着查询数据的方式较为复杂，可以通过优化查询时间...
削峰填谷
当消费端请求骤增时，可以为其配置排队等待的流控规则，以稳定的速度逐步处理这些请求，达到削峰填谷的效果，从而避免流量骤增造成系统负载过高。背景信息 在实际应用中，收到的请求是没有规律的。例如，某应用每秒可处理10个请求，某一秒...
2020年功能发布记录
本文介绍 云工作流 2020年度发布的功能变更以及对应的文档动态。2020年5月 功能名称 功能描述 发布时间 相关文档 支持原生定时调度...例如可以将并行步骤做成子流程，在主流程中对子流程执行错误做错误处理。2020-02-29 集成Serverless工作流
启动加速-模块并行启动
SOFABoot 加快应用启动速度的方式主要有 2 种：模块并行启动 异步初始化方法 本文介绍如何通过模块并行启动以提高应用启动速度。模块并行启动规则 SOFABoot 会根据 模块 properties 配置 中的 Require-Module 属性，计算模块依赖树，并根据...
算子
AnalyticDB MySQL版 是一个分布式系统，大多数算子可以达到在多个节点上并行完成计算任务，来提高数据处理效率。您可以通过 AnalyticDB MySQL版 的SQL诊断功能查看具备属性的算子以及算子级别的结果诊断。更多详情，请参见 算子层计划执行...
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
性能测试技术指南
已经上线的系统可以通过高峰时段历史业务量和生产问题性能来评估，对于即将上线的系统可以通过调研和单交易资源消耗的结果来评估。已上线系统 搜集生产上不同高峰时间段的业务种类和业务量，每个时间段的业务种类和业务量是否有很大的差异...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
服务端人脸识别SDK
挑选人脸质量的模块和抽取特征的模块可以并行处理，从而可以提高通行的效率。人脸检索 人脸1:1比对：两张图片可以直接通过SDK抽取特征，首先经过人脸检测、人脸关键点定位、人脸质量模块，其次通过人脸识别模块得到特征，最后计算两幅图片...
概述
PolarDB 集群备份和恢复功能均采用多线程并行处理，并通过其它技术创新，10分钟内即可完成从备份集（快照）恢复到一个新的集群。说明 一级备份默认开启，无法关闭。一级备份（快照）总大小如下图所示。说明 PolarDB 集群 一级备份（快照）...
ClickHouse概述
MPP架构 每个节点只访问本地内存和存储，节点信息交互和节点本身是并行处理的。查询性能好，易于扩展。向量化引擎：为了高效的使用CPU，数据不仅仅按列存储，同时还按向量（列的一部分）进行处理，这样可以更加高效地使用CPU。支持SQL ...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
- 产品推荐
- 这些文档可能帮助您