配置网卡多队列的网络中断亲和性
多队列是指网络接口卡具有能力在多个发送和接收队列上并行处理网络数据包。在使用网卡多队列时，通常需要配置网络中断亲和性（IRQ Affinity），将不同的队列中断分配给特定的CPU处理，而不是由任意的CPU处理，这有助于减少CPU之间的争用并...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
减灾与应急时空解决方案与案例
可在表级和操作级充分利用时空并行处理能力加快大数据计算效率。系统原生部署在云端，支持直接使用SQL实现传统GIS服务软件提供的大部分功能，还支持性能及存储空间同时线性扩展。项目价值 领域专业数据一体化融合管理和处理能力，提供存储...
简介
同一任务的各个实例并行处理各自的输入数据。镜像 Image 镜像（Image）是集群资源创建或者作业运行环境的模板。它是一个标准的或者自定义的 ECS 镜像，需要安装 BatchCompute Agent，然后授权给 BatchCompute 服务使用
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
如何高效扫描数据
并行的全表扫描：如果需要从所有库导出数据，可以通过SHOW指令查看表拓扑结构，针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
离线异步任务场景
并行处理 离线GPU任务需要处理大量数据，对GPU资源供给要求高，并行运行加快处理速度。数据源集成 离线GPU任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如对象存储OSS）和多种消息产品（例如消息队列）进行频繁交互。更多...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
基本介绍
通过并行循环（foreach）步骤来并行处理数组数据。流程包含以下属性：version（必需）：流程版本，仅支持 v1。type（必需）：flow表示是流程类型。steps（必需）：定义了流程的多个串行步骤。一个步骤执行完成后，如果成功，则会执行下一个...
热点行优化
因此 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。具体方案如下：串行...
并行查询性能
并行查询利用多核CPU的并行处理能力，以8核32 GB 独享规格 的集群为例，并行查询示意图如下所示。下文将介绍8.0.1和8.0.2版本并行查询参数取值分别设置为如下表所示时，PolarDB 集群负载 并行查询测试方法 与 执行结果。关于如何配置参数，...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
MaxFrame概述
MaxFrame可直接使用MaxCompute海量弹性计算资源，并支持自动分布式、并行处理，大幅缩短数据处理的时间。更便捷的开发体验 MaxFrame已与MaxCompute Notebook、DataWorks集成，无需配置环境即可直接使用；同时MaxFrame也支持在用户本地环境...
概述
PolarDB 集群备份和恢复功能均采用多线程并行处理，并通过其它技术创新，10分钟内即可完成从备份集（快照）恢复到一个新的集群。说明 一级备份默认开启，无法关闭。一级备份（快照）总大小如下图所示。说明 PolarDB 集群 一级备份（快照）...
Semi-Join的并行加速
下文展示了在标准TPC-H中，SCALE为100 GB的数据量热数据场景下，开启并行后多阶段的并行处理能力。说明 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。...
RDS SQL Server CPU使用率高问题排查
CPU使用率高的因素有很多，其中最常见的因素说明及解决方法如下：实例的并行度设置不合理 排查步骤 线程并行处理任务时，由于每个线程处理的数据量不一致，会出现CXPACKET等待情况，CXPACKET等待发生比较多的话，就会造成CPU使用率高。...
流程定义介绍
循环（Map）：通过循环（Map）状态并行处理数组数据。成功（Succeed）：通过成功（Succeed）状态提前终止流程。失败（Fail）：通过失败（Fail）状态提前终止流程。流程属性 流程包含以下属性。字段 类型 是否必选 描述 示例值 Type String ...
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
可视化MapReduce模型
可视化MapReduce模型在MapReduce模型的基础上，新增了可视化可运维的能力。您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时...
可视化MapReduce模型
可视化MapReduce模型在MapReduce模型的基础上，新增了可视化可运维的能力。您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
灵骏常见问题
而神经网络是高度并行的，非常适合用GPU进行计算。最典型的例子比如卷积，每个卷积计算都独立于其他卷积计算，这意味着任何计算都不依赖于其他计算的结果。您使用神经网络进行的许多计算都可以很容易地分解成更小的计算，各个小计算不会...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
OOM常见问题排查指南
UnionALL 如下所示，当SQL中含有大量 union all subquery 时，执行器会并行处理每个 subquery，导致内存压力变大，从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行，减少OOM情况，但查询...
ROLLUP的并行加速
ROLLUP 可以将所有的聚合工作转移到服务端，只用读一次数据就能够完成原本多次查询才能完成的统计工作，减轻了客户端的处理负载和网络流量。并行查询ROLLUP增强性能测试 PolarDB 还实现了针对 ROLLUP 语法的并行查询（Parallel Query）增强...
网络诊断
堡垒机支持自动和手动检查堡垒机到资产地址连通性，以帮助您确认网络可达性，从而准确定位和排查资产运维连接问题。本文介绍如何设置连通性状态周期性检查以及如何手动进行网络连通性测试。连通性 状态周期性检查 登录 堡垒机控制台，在...
弹性网卡概述
弹性网卡（Elastic Network Interfaces，简称ENI）是一种在专有网络VPC中为ECS实例提供网络接口和IP地址的虚拟网络接口。每台ECS实例可以附加一个或多个弹性网卡。辅助弹性网卡可以在不同ECS实例之间进行解绑和绑定操作，这使得网络配置...
基本概念
cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研的分布式训练任务AI加速器，可以显著提升训练性能。AIACC-Inference 阿里云自研...
- 产品推荐
- 这些文档可能帮助您