产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
什么是数据管理DMS
AnalyticDB PostgreSQL版：云原生数据仓库AnalyticDB PostgreSQL版是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。OSS：对象存储服务OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
音视频弹性处理
可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件，并将转换后的文件存储到对象存储的指定目录中。方案实施如下：上传视频...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
基本概念
本文为您介绍灵骏中用到的基本概念，帮助您正确理解和使用。使用灵骏的过程中，您可以根据业务需求规划多...优化套件 灵骏提供的适合大规模并行计算集群优化组件的集合，包括数据加载优化、集合通信优化、计算资源优化、网络优化等几个组件。
接入方式简介
如果使用 mPaaS 来重构您的项目需要引入大规模并行研发的理念，推荐使用 组件化方式。接入方式对比 原生 AAR 接入 组件化接入 来源 Google 官方接入方式。源自支付宝。打包速度 两者之中打包最慢，和原生接入一模一样。打包速度快，打包...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
常见问题
2）大规模并行计算，不受限本地计算资源规模，支持Scatter-Gather的模式，对生信流程进行并行计算优化。3）加速硬件和算法，提供Sentieon软件、FPGA、GPU等多种加速手段，针对长耗时的计算步骤进行优化，并可以和用户脚本自由组合。问：...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
TPC-DS作为大数据行业中最权威且被广泛认可的基准测试标准，用于衡量大规模数据处理系统的性能与效率的关键指标。阿里云EMR是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群环境下，充分利用OSS-HDFS服务的优势...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
PyODPS节点实现避免将数据下载到本地
但是这种操作非常低效，数据下载到本地进行处理，无法使用MaxCompute的大规模并行能力。当数据量大于10 MB时，不建议进行本地数据处理。常见的将数据下载到本地的操作如下：Head、Tail和To_pandas方法的调用。通常，可以调用 head、tail ...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
ossimport概述
单机模式部署简单，使用方便，分布式模式适合大规模数据迁移。说明 单机模式下一次只能迁移一个Bucket。支持断点续传。支持流量控制。支持迁移指定时间以后的文件、特定前缀的文件。支持并发数据下载和上传。计费说明 ossimport工具本身不...
GPU计算型
GPU计算型实例具有高性能、高并行计算能力，适用于大规模并行计算场景，可以为您的业务提供更好的计算性能和效率。本文为您介绍云服务器ECS GPU计算型实例规格族的特点，并列出了具体的实例规格。主售（推荐类型）GPU计算型实例规格族gn7e ...
测试指标
一般扩展能力非常好的应用系统，扩展指标应是线性或接近线性的，现在很多大规模的分布式系统的扩展能力非常好。标准 理想的扩展能力是资源增加几倍，性能就提升几倍。扩展能力至少在70%以上。可靠性指标 双机热备 对于将双机热备作为可靠性...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版（兼容Oracle）具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署...
什么是人工智能平台PAI
千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI提供的服务：可视化建模和分布式训练Designer，详情请参见 可视化建模（Designer）。Notebook交互式AI研发DSW（Data Science ...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
减灾与应急时空解决方案与案例
可在表级和操作级充分利用时空并行处理能力加快大数据计算效率。系统原生部署在云端，支持直接使用SQL实现传统GIS服务软件提供的大部分功能，还支持性能及存储空间同时线性扩展。项目价值 领域专业数据一体化融合管理和处理能力，提供存储...
灵骏常见问题
对比项 GPU CPU 算术运算单元（ALU）大量擅长处理大规模并发计算的算术运算单元（ALU）。拥有强大的算术运算单元（ALU），但数量较少。逻辑控制单元 相对简单的逻辑控制单元。复杂的逻辑控制单元。缓存 缓存较低且用于服务线程，不用于保存...
大规模ACK Pro集群使用建议
大规模集群使用须知 相较于使用多个集群，构建一个大规模集群可以有效减少集群管理运维负担，提高资源利用率。但在某些复杂的业务场景中，建议您根据业务逻辑或需求将服务拆分到多个集群中，例如非生产（测试）服务与生产（开发）服务拆分...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
作业调试
对于复杂作业，建议单作业最大并发数不超过512，64个并发的中等规模作业单集群不多于32个。否则可能会出现心跳超时等问题影响集群稳定性。此时，您需要增大心跳间隔和心跳超时时间。如果您需要同时运行更多的任务，则需要增加Session集群的...
- 产品推荐
- 这些文档可能帮助您