获取存储空间读写权限
存储空间读写权限 存储空间的读写权限（ACL）包括如下三种：访问权限 描述 访问权限值 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。private 公共读 存储空间的拥有者和授权...
管理存储空间读写权限
设置存储空间读写权限 存储空间的读写权限（ACL）有以下三类：读写权限 描述 方法 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。oss2.BUCKET_ACL_PRIVATE 公共读 存储空间的...
方案分析
很多企业选择开源HBase来存储账号关系，开源HBase在满足了上述四个特征的同时可以把系统搭建起来，但是仍会有如下问题：对比项 表格存储 开源HBase 运维复杂度 全托管的分布式NoSQL存储服务，无需任何运维 需要自己运维、调查问题、修复...
DescribeDrdsRdsInstances
PayType String PostPaid 存储层私有定制RDS实例的付费方式，取值范围如下：Postpaid：按量付费（即后付费）Prepaid：包年包月（即预付费）DBInstanceStatus String 1 存储层私有定制RDS实例的状态，取值范围如下：0：创建中 1：运行中 3：...
概述
PolarDB-X 1.0 由计算层DRDS实例与存储层 私有定制RDS 实例组成，通过挂载多个MySQL进行分库分表水平拆分。PolarDB-X 1.0 存储层 私有定制RDS 实例与计算层DRDS实例配合更加深度紧密，性能表现更优秀，服务链路更稳定，售卖价格更优惠。...
04-私有模板列表
用户可以将自己经常使用的应用架构存储为私有模板，支持编辑、删除、基于模板创建应用以及共享模板等功能。
UpdatePrivateRdsClass
调用UpdatePrivateRdsClass接口升级或降级存储层私有定制RDS实例的规格。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
DescribeParameters
Data":{"EngineVersion":"2.0","Engine":"polarx","ConfigParameters":[{"ParameterDescription":"存储节点私有协议开关(-1关闭，0开启)","ParameterName":"CONN_POOL_XPROTO_STORAGE_DB_PORT","ParameterValue":"-1"}],...
ManagePrivateRds
调用ManagePrivateRds接口管理存储层私有定制RDS实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
PolarDB-X 1.0定价
PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，本文主要介绍 PolarDB-X 1.0 如何定价。计费方式 PolarDB-X 1.0 支持以下两种计费方式。计费方式 说明 包年包月（也称为预付费）在新建实例时支付费用。包年包月实例无法释放。...
性能测试
开源GeoMesa（HBase）GeoMesa的版本为3.0.0。底层存储为HBase集群。HBase的节点规格和数量：3节点16核 32 GB（独享规格）。HBase的Core磁盘类型：SSD云盘。云数据库MongoDB分片集群 配置Mongos节点和Shard节点。数据库版本：MongoDB 5.0。...
创建数据库
PolarDB-X 1.0 支持RDS MySQL（即私有定制RDS MySQL）和PolarDB MySQL两种存储类型。本文将介绍如何在 PolarDB-X 1.0 控制台上根据不同存储类型创建对应的数据库。前提条件 您需要 创建实例 后才能创建数据库。说明 创建实例时所选择的存储...
Flink DataStream参考
上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。DataFlow集群中新增支持的上下游存储，请参见下表。Connector版本 EMR版本 Connector类型 文档及Demo 1.13-vvr-4.0.10及以上 EMR-3.38.0及以上 ververica-...
产品模板
私有平台 私有平台相当于用户的私有仓库，存储以下两种类型的模板。平台模板 由 SOFAStack 平台提供和维护的官方示例模板，当前支持 redis、etcd、mysql、mongodb、elasticsearch-exporter、kibana 等示例模板，让您可以即开即用。说明 ...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
产品模板
私有平台 私有平台相当于用户的私有仓库，存储以下两种类型的模板。平台模板是由 SOFAStack 平台提供和维护的官方示例模板，让您可以即开即用。该类模板仅支持查看和安装操作，用户无法修改模板信息。私有模板满足用户管理和维护自定义模板...
什么是EMR on ECS
100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。分钟级别创建和扩容集群，无需手动部署和启动服务。产品...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
选型配置说明
存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月 云盘的具体价格信息，请参见...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
概述
SmartData是E-MapReduce（简称EMR）产品的核心自研组件，为EMR各个计算引擎提供统一的存储优化、缓存优化、计算加速优化和多个存储功能扩展，涵盖数据访问、数据治理和数据安全。SmartData组件在EMR产品中的位置如下所示。SmartData组件...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务...存储使用阿里云OSS，存储计算分离；元数据使用数据湖构建DLF，助力数据湖构建。
- 产品推荐
- 这些文档可能帮助您