概述
减少2.5%1.17GB Parquet Hadoop生态格式的数据。数据采用高性能的列存储格式，提升数据查询性能。支持嵌套的数据模型。自带性能友好的统计元信息。减少53.3%560MB ORC Hadoop生态格式的数据。自带性能友好的统计元信息。高压缩比 减少80.4%...
Binlog 相关操作
当 OceanBase 数据库版本为 3.x 且高于 V3.2.4.4 或 4.x 且高于 V4.1.0.1 时，Binlog 服务开启时会同步设置 MySQL 兼容参数，表示租户开启了 show create table/database 兼容 MySQL 的结果展示。OceanBase 数据库的 MySQL 模式有一些特有...
改写Jindo HDFS客户端路径
使用限制 仅支持Hadoop 2.x版本，不支持Hadoop 3.x版本。开启路径改写功能 进入SmartData服务。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，单击相应集群...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
2020年
2020年7月 时空数据库（V2.8）类别 名称 描述 相关文档 发布时间 新增 栅格数据元数据访问接口增强 新增ST_XMin函数，用于获取栅格数据X方向最小值。ST_XMin 2020年7月 新增ST_YMin函数，用于获取栅格数据Y方向最小值。ST_YMin 2020年7月 ...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
Python
不同版本的 Python 环境需要使用不同的驱动，Python 3.x 系列需要使用 PyMySQL 驱动，Python 2.x 系列需要使用 MySQL-python 驱动。前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
PL 编译和调试
前提条件 ODC PL 支持现状 功能 支持的对象 支持的数据源 支持版本 编译 函数/存储过程/程序包 OceanBase Oracle、OB Cloud Oracle V2.2.7x、V3.0.0 及之后版本。调试 函数/存储过程/匿名块 OceanBase Oracle V3.2.3 及之后版本。运行 函数...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端...
基于Hadoop集群支持Delta Lake或Hudi存储机制
产品版本 EMR-3.43.0 选择基于Hadoop 2.x和Hive 2.x构建的 EMR-3.x 版本。可选服务 Hadoop-Common、HDFS、Hive、YARN、Spark3、DeltaLake、Hudi、ZooKeeper 选择相关的Hadoop、HDFS、Hive、Spark、DeltaLake及Hudi组件，被选中的组件会默认...
EMR HBase版本
EMR HBase版本 EMR HBase随EMR版本一起发布，EMR主版本分为3.x系列和5.x系列，其中EMR 3.x系列版本对应Hadoop 2.x版本和HBase 1.x版本，EMR 5.x系列版本对应Hadoop 3.x版本和HBase 2.x版本。以下是EMR已发布的EMR版本和对应的Hadoop、HBase...
数据湖集群
Spark部署 数据湖集群在原有Hadoop2+Spark2和Hadoop3+Spark3的基础上，增加了Hadoop2+Spark3和Hadoop3+Spark2的组合部署模式。您可以根据实际情况，选择满足自己的软件组合。另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎...
切换为Hadoop原生的JobCommitter
版本 参数 描述 EMR Hadoop 2.x版本 mapreduce.outputcommitter.class 删除参数值，即将参数值置为空。例如，搜索 mapreduce.outputcommitter.class 配置，删除参数值。EMR Hadoop 3.x版本 mapreduce.outputcommitter.factory.class 删除...
DataWorks V3.0
发布版本：DataWorks V3.0 发布时间：2019年12月18日 发布范围：全球所有已开通DataWorks的地域 发布内容：DataWorks V2.0仅支持MaxCompute计算引擎，DataWorks V3.0全新升级了多引擎架构，在MaxCompute的基础上，新增开源大数据引擎E-...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
创建HBase数据源
版本 HBase 2.x数据源 支持选择如下版本：CDH5:1.2.0。CDP7.1.3:2.2.3。亚信DP5.x HBase 2.x。EMR HBase 2.x。说明 HBase0.9.4和HBase1.1.x不支持配置版本。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据...
入门概述
本模块将指引您快速完成...DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 DataWorks V2.0数据服务功能及用法解析 DataWorks V2.0数据质量简介及最佳实践 DataWorks V3.0
蜂窝聚合层（v3.x版本）
图表样式 蜂窝聚合层是3D平面地图（v3.x版本）的子组件，支持独立的样式和数据配置，包括蜂窝的半径大小、颜色、间距和高度等，能够以聚合蜂窝点的形式表现地理位置上的点的分布密度。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项...
迁移HDFS数据到OSS-HDFS
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
蜂窝聚合层（v3.x版本）
图表样式 蜂窝聚合层是3D平面地图（v3.x版本）的子组件，支持独立的样式和数据配置，包括蜂窝的半径大小、颜色、间距和高度等，能够以聚合蜂窝点的形式表现地理位置上的点的分布密度。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置...
JindoFS加速OSS文件访问
kubectl exec-it demo-app-bash du-sh/data/spark-3.0.1-bin-hadoop2.7.tgz 预期输出：210M/data/spark-3.0.1-bin-hadoop2.7.tgz 执行如下命令，查看文件的拷贝时间。time cp/data/spark-3.0.1-bin-hadoop2.7.tgz/dev/null 预期输出：real ...
什么是云原生数据湖分析
数据源 Serverless Presto Serverless Spark OSS 支持 支持 RDS 支持 支持 PolarDB 支持 支持 Lindorm 待支持 支持 Hbase 待支持 支持 MongoDB 支持 待支持 Tablestore 支持 支持 AnalyticDB MySQL 2.0 支持 支持 AnalyticDB MySQL 3.0 ...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
使用Fluid加速OSS文件访问
kubectl exec-it demo-app-bash du-sh/data/spark-3.0.1-bin-hadoop2.7.tgz 预期输出：209.7M/data/spark-3.0.1-bin-hadoop2.7.tgz 执行如下命令，查看文件的拷贝时间。time cp/data/spark-3.0.1-bin-hadoop2.7.tgz/test 预期输出：real 1m...
SDK概述
解决OSS不支持Hadoop 2.7.2、OutputCommitter两种算法的问题。改善Hadoop和Spark读写OSS的性能。解决Spark作业打印的Log4j异常输出的问题。v1.1.2 解决作业慢读写OSS出现的 ConnectionClosedException 问题。解决添加OSS数据源时部分hadoop...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
常见问题
对比项 DAS企业版 V3 DAS企业版 V2 DAS企业版 V1 DAS企业版 V0 计费项 采用按量计费的模式，计费项为：数据引入 实时搜索分析 洞察分析 数据热存储 数据冷存储 数据查询 数据导出 企业版 V3在冷热存储混合的基础上，按使用的功能细分计费项...
使用E-Mapreduce访问
该测试包默认放置在/opt/apps/ecm/service/hadoop/2.x.x-1.x.x/package/hadoop-2.x.x-1.x.x/share/hadoop/mapreduce/目录下。执行以下命令，在/tmp/randomtextwriter 目录下生成128 M大小的文件。hadoop jar/opt/apps/ecm/service/hadoop/2...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
产品规格
配置 计算实例配置 存储配置 地域 系列 最低数据库版本 最大租户数量 节点规格 vCPU 内存（GB）存储类型 最小存储空间（GB）最小日志盘（GB）中国内地 标准版（云盘）V4.x 2 4 核 16GB 4 16 ESSD PL1 50 50 V3.x 4 8 核 32GB 8 32 ESSD PL1...
在文件存储 HDFS 版上使用Presto
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli-xxx-executable.jar。本文使用的Presto版本为0.265.1。背景信息 ...
创建Impala数据源
版本支持：CDH5:2.11.0 CDH6:3.2.0 CDP7.1.3:3.4.0 E-MapReduce 3.x:3.4.0 E-MapReduce 5.x:3.4.0 E-MapReduce 5.x:4.2.0 数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
搭建Hadoop环境
Hadoop 3.3：Java 8和Java 11 Hadoop 3.0.x~3.2.x：Java 8 Hadoop 2.7.x~2.10.x：Java 7和Java 8 本文使用的版本为Hadoop 3.2.4和Java 8，如您使用其他版本，请参考Hadoop官网指南。更多信息，请参见 Hadoop Java Versions。步骤一：安装...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<=2.10.1 3.0.0-alpha<= ApacheHadoop<=3.2.3 3.3.0<= ApacheHadoop<=3.3.2 漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
创建Hive数据源
Dataphin支持以下版本：CDH5.x Hive 1.1.0 E-MapReduce5.x Hadoop3.x Hive 2.3.5 E-MapReduce5.x Hadoop5.x Hive 3.1.x CDH6.x Hive 2.1.1 FusionInsight 8.x Hive 3.1.0 CDP7.x Hive 3.1.3 亚信DP5.x Hive 3.1.0。数据源描述 对数据源的...
计费概览
PolarDB-X 2.0 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）和新加坡 经济版 数据库 地域 RDS MySQL PolarDB MySQL版 华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华南1（深圳）、华北3（张家口）、西南...
- 产品推荐
- 这些文档可能帮助您