技术面临的挑战与革新
随着云的概念不断发展，公有云厂商使用基于网络的块存储逐步代替了单机的本地存储，在这样的基础架构下计算和存储耦合的架构已经变得不透明不合理，此时存储计算分离的架构的优势体现了出来，存储计算分离，分布式存储系统使用高密度，低...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
SDS分布式存储
阿里云将分布式存储技术以及积累的公共云部署、运维的最佳实践融入到分布式存储产品中，从而打造高性能、高可扩展、高可靠的 SDS分布式存储，帮助您降低成本、缩短业务上线时间，轻松构建混合云存储。产品优势 灵活敏捷，弹性扩容 3节点...
SDS分布式存储售后服务承诺
详细信息，请参见 阿里云SDS分布式存储售后服务承诺。
优势
实时监控利用文件传输、流式计算、分布式文件存储、时序数据存储，数据可视化、数据建模等技术，提供实时、智能、可定制、多视角、全方位的监控体系。其主要优势有：全方位实时监控 提供资源、应用、业务等各种视角的监控能力，关键指标秒...
存储类型
SSD云盘 SSD云盘，是基于分布式存储架构的弹性块存储设备，实现计算与存储分离。说明 SSD云盘分批下线中，建议使用ESSD云盘。更多信息，请参见【通知】部分RDS实例不再提供SSD云盘售卖。各存储类型之间的性能对比（单盘容量、最大IOPS、...
产品概述
相比基于分布式存储的新型Cloud Native数据库，理论上 PolarDB-X 1.0 的扩展性没有上限，打消业务在快速发展的过程中针对数据库扩展性产生的后顾之忧与运维压力。持续可运维 对于绝大部分应用而言，关系型数据库需要保证能够7 x 24小时稳定...
技术架构
PolarFS是中国内地面向DB应用设计的采用了全用户空间I/O栈的低延迟高性能分布式存储系统（参见VLDB 2018 上的文章 PolarFS:An Ultra-low Latency and Failure Resilient Distributed FileSystem for Shared Storage Cloud Database），其...
分布式事务问题
数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求：数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...
引擎简介
Lindorm计算引擎完整支持开源Spark计算模型以及编程接口，并深度融合Lindorm存储引擎的特性，充分利用底层数据存储特征以及索引能力，高效地完成分布式计算任务。功能特性 计算引擎服务提供了如下功能：多种接入方式：您可以通过JDBC方式对...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本，接入简单，提供报警监控。安全防护 多层次安全防护，包括：支持HTTPS，VPC访问。支持用户隔离、命名空间隔离和应用...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
块存储
适用场景 阿里云为您的云服务器ECS提供了丰富的 块存储产品类型，包括基于分布式存储架构的云盘以及基于物理机本地硬盘的本地盘产品。其中：云盘是阿里云为云服务器ECS提供的数据块级别的块存储产品，采用多副本的分布式机制，具有低时延、...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
什么是OSS-HDFS服务
HBase存储与计算分离 OSS-HDFS服务原生支持文件、目录语义和操作，并支持flush操作，可用于替代HDFS用做HBase存储与计算分离方案。相比HBase结合OSS标准存储类型Bucket的方案，HBase结合OSS-HDFS服务依赖HDFS来存放WAL日志，大幅简化整体...
预留模式和按量模式的区别
而按量模式按照高性能存储与预留CU方式计费。区别 预留模式 按量模式 实例类型 标准型 高性能 容量型 计算计费 统一规格VCU（4核16 GB），按照包年包月方式计费 根据使用量提前预估购买使用资源 涵盖读、写、索引计算、通道等计算消耗 根据...
产品概述
通过云原生架构、软硬件一体化、共享分布式存储的设计，主节点和只读节点使用物理复制、RDMA网络低时延，能够快速同步数据，彻底解决了主从异步复制所带来的备库数据非强一致的问题，使得整个数据库集群在应对任何单点故障时，都可以保证...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
Map模型
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 发送50条消息的Demo示例（适用于Map模型）@Component public class TestMapJobProcessor extends ...
MapReduce模型
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 发送500条消息的Demo示例（适用于MapReduce模型）@Component public class TestMapReduceJobProcessor extends ...
表格存储建表注意事项
表格存储服务本身的考虑 基于表格存储分布式的实现，表的个数也成为了表格存储本身的一个资源属性。可以理解为在表格存储集群规模一定的情况下，表的个数是有一个最大值的。当然，表格存储的扩展能力可以有效地解决表个数的限制，但从表格...
任务管理
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 说明 时间...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。...① 数据取回费用中的数据是从底层分布式存储系统读取的数据量，在公网传输的数据量会计入到流出流量的计费项中。
CDH6数据迁移
背景信息 CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，您可以使用 文件存储 HDFS 版 替换CDH6原有的本地HDFS服务，通过CDH6和 文件存储 HDFS 版 实现大数据计算在云上的存储与计算分离，应对...
未来规划
上层是分库分表Shared-Nothing的架构，下层是存储与计算分离的云原生架构，这种架构的好处在于既能够水平扩展，又能够实现高可用的能力。而且面对高并发的情况时，所需要的分片数量会大大减小，因此分布式事务的复杂性也会大大降低。数据库...
资源包介绍
资源包是针对按量付费中的计算与存储资源用量通过预付费的方式提前进行采购，根据购买规格的大小与时长获取更低折扣。您可以根据需要单独购买一种资源包或者组合购买资源包。本文介绍资源包类型以及资源包选购建议。资源包价格 关于资源包...
技术架构
整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和...
品牌升级
PolarDB-X 融合分布式SQL引擎与分布式自研存储X-DB，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验。此次品牌升级，存量DRDS实例不受影响，可正常续费...
中间件产品总览
提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...
读写分离架构
AnalyticDB的弹性模式采用了存储计算分离架构。存储层依然采用了Shared-Nothing架构，兼具了预留模式的扩展性和并发性。数据的写入，直接由AnalyticDB接入层的前端节点，经过SQL解析、合法性校验、分区选择等流程后，把数据实时写入存储层...
概述
消息队列 SOFAStack 消息队列是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息类型，并具备高可靠、...
产品架构
图计算服务（GraphCompute）一站式图计算解决方案，通过高性能的分布式图计算引擎，提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累，为全球企业及开发者提供图技术服务
快速入门
文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。开通 文件存储 ...
企业版产品系列
产品架构 多主集群（库表）的架构图如下：集群中所有的数据文件都存放在共享分布式存储（PolarStore）中，各个RW节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，...
块存储概述
块存储类型 阿里云为您的云服务器ECS提供了丰富的块存储产品，包括基于分布式存储架构的云盘和基于物理机本地硬盘的本地盘产品。云盘类型 云盘是阿里云为云服务器ECS提供的数据块级别的块存储产品，采用分布式三副本机制，为ECS实例提供99....
产品架构
共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到...
- 产品推荐
- 这些文档可能帮助您