EMR-4.10.x版本说明
优化了Hive on Spark。修复了AQE在Stats缺失情况下数组越界的问题。修复了AQE和Cache在特定场景下报错的问题。移除了无效配置Log4j MetricsAppender。修复了SparkContext启动过程中空指针异常的问题。支持ZSTD（Zstandard）压缩格式。Hive ...
Hive访问EMR HBase数据
前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群（Custom），详情请参见 创建集群。已登录集群，详情请参见 登录集群。Hive通过内表访问HBase 如果HBase中没有已经创建好的表，则可以在Hive中创建表，Hive会自动把表结构和...
Hive访问EMR HBase数据
前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群（Custom），详情请参见 创建集群。已登录集群，详情请参见 登录集群。Hive通过内表访问HBase 如果HBase中没有已经创建好的表，则可以在Hive中创建表，Hive会自动把表结构和...
Hive访问EMR Phoenix数据
前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群（Custom），详情请参见 创建集群。说明 因为当前EMR-4.x和EMR-5.x系列版本未支持Phoenix服务，所以此文档仅适用于EMR-3.x系列版本。已登录集群，详情请参见 登录...
EMR-5.5.x版本说明
Hive 优化了Hive Jindo批量删除的问题。优化了HiveServer2 OOM问题。优化了Hive on Spark。适配JindoSDK。Presto 升级Presto至社区358版本。默认增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta连接器，并更新默认配置。支持数据湖分析。...
管理Hive Catalog
要求 说明 已在Hive Metastore侧开启了Hive Metastore服务。相关命令如下：开启Hive Metastore服务命令：hive-service metastore 查询Hive Metastore服务是否已开启：netstat-ln|grep 9083 其中9083是Hive Metastore的默认端口号。如果您在...
Hive使用扩展记录数据血缘和访问历史
前提条件 已创建DataLake或自定义集群，且选择了Hive服务，详情请参见 创建集群。使用限制 EMR-HOOK不支持在通过EMR-CLI自定义部署的Gateway环境下收集作业相关的SQL信息。EMR-5.16.0之前版本、EMR-3.50.0之前版本，不支持在Gateway上同步 ...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
Hive Metastore使用加密文件访问RDS
前提条件 已创建集群，并且选择了Hive服务，详情请参见 创建集群。已购买RDS，详情请参见 快速创建RDS MySQL实例。操作步骤 创建凭据文件。重要 如果集群中有多个Master节点，需要进行多次操作。通过SSH方式连接Master节点，详情请参见 ...
Hive基础操作
前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。进入Hive命令行 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，进入Hive命令行。hive 库操作 本文示例中的数据库以...
Hive作业异常排查及处理
hive.optimize.dynamic.partition.hashjoin=false MapJoinOperator报错NullPointerException（已知缺陷）报错日志：原因分析：开启了hive.auto.convert.join.noconditionaltask会导致报错。解决方法：关闭相关配置。hive.auto.convert.join...
配置Presto开启Ranger权限控制
前提条件 已创建EMR-3.45.0及之后版本、EMR-5.11.0及之后版本的DataLake或Custom集群，并选择了Hive、Presto和Ranger服务，创建集群详情请参见 创建集群。注意事项 与Trino不同，Presto没有单独的Ranger插件，其Ranger权限控制仅支持Hive...
常见问题
本文汇总了Hive使用时的常见问题。说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取...
Hive连接方式
前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。注意事项 本文示例中需替换的参数：<主节点的节点名称>：您可以在EMR控制台目标集群的 节点管理 页面获取，具体操作步骤请参见 登录集群。cluster-xxx@EMR.xxx.COM 中的 xxx...
查看集群日报与分析
Hive基础信息 该区域汇总了Hive使用过程中常用的几个存储指标，包含存储使用量趋势，文件数量趋势及评分趋势等。Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布...
配置Hive开启Ranger权限控制
本文介绍了Hive如何开启Ranger权限控制，以及详细的Ranger Hive权限配置示例进行说明。前提条件 已创建DataLake集群，并选择了Ranger服务，创建集群详情请参见 创建集群。注意事项 Hive开启Ranger权限控制后，HiveServer2服务会加载Ranger ...
常见问题
3.45.0之前版本和5.11.0之前版本的DataLake集群，如果创建集群时选中了Hive服务，且选择了DLF元数据，hive、iceberg、hudi、delta lake等连接器将直接指向DLF，可直接使用；如果集群中不包含Hive服务，可参见 配置数据湖元数据 自行配置。3...
使用LDAP认证
前提条件 已创建DataLake或自定义集群，且选择了Hive和OpenLDAP服务，详情请参见 创建集群。一键配置LDAP认证 添加EMR用户，详情请参见 添加用户。进入集群服务页面。登录 E-MapReduce控制台。在左侧导航栏，单击 EMR on ECS。在顶部菜单栏...
元数据管理常见问题
删除Hive Database时提示“java.lang.IllegalArgumentException:java.net.UnknownHostException: *”问题分析：由于在之前的集群上创建了Hive的数据库，并且数据库的位置是落在之前集群的HDFS之上，但是在集群释放的时候，没有清理掉对应的...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions ...错误描述 使用到了Hive相关的解析器，但没有打开Hive兼容开关，导致报错。解决方案 执行以下命令打开Hive兼容模式：SET odps.sql.hive.compatible=true;
流式入库
Hive从0.13版本提供了事务支持，并且从2.0版本开始提供了Hive Streaming功能来实现流式入库的支持。但是在实际使用Hive Streaming功能的案例并不多见。其主要原因如下：Hive事务的实现修改了底层文件，导致公共的存储格式等仅能够被Hive...
EMR-4.5.x版本说明
EMR-4.5.1 发布日期 2020年12月13日 更新内容 该版本修复了Hive和Presto查询分区表的问题。该版本目前只支持部分地域，包括华东1（杭州）、华东2（上海）和华北2（北京）。EMR-4.5.0 发布日期 2020年12月7日 新增内容 服务 变更点 ESS（EMR...
EMR-5.4.x版本说明
修改了Hive Runtime依赖报错问题。Knox 修复了Spark Task第一次访问时失败的问题。DLF-Auth 新增组件。支持DLF权限，可以控制Hive和Spark权限。版本为1.0.0，详情请参见 DLF-Auth。发行版本信 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 ...
EMR-3.39.x版本说明
Spark 优化了Hive on Spark。适配JindoSDK。Tez 适配JindoSDK。Hive 适配JindoSDK。Presto 支持UDF动态加载功能。Delta Lake表支持for.as of语法的Time Travel查询。增加独立的Delta Lake Catalog，提供默认的Delta连接器配置，并支持基于...
Spark
Spark集成Hive后，通常场景下，您可以使用Spark SQL解释器访问Hive表来进行更高效的分析计算，数据开发里的Spark解释器默认已经开启了Hive。配置Spark 在阿里云EMR的数据开发里，Spark解释器配置的是Isolated Per Note模式，也就是说每个...
Serverless Presto概述
阿里云数据湖分析团队优化了Hive Connector，使得分析OSS数据时对OSS调用量大幅下降，从而提高性能且节省成本；DLA内置了企业级的权限控制体系，保护您的数据安全；内置了高可用的Coordinator方案，提高整体服务的可用性；DLA在Presto之上...
EMR-5.15.x版本说明
Spark 移除了 hive-site.xml 中与 jdo 相关的配置。HBase 在配置中增加配置项，您可以根据自己的需求选择HBase Thrift Server的版本，包括v1和v2。StarRocks 升级StarRocks2至2.5.10版本。Doris 升级Doris至1.2.7版本。Celeborn 升级...
EMR-3.49.x版本说明
Spark 移除了 hive-site.xml 中与 jdo 相关的配置。HBase 在配置中增加配置项，您可以根据自己的需求选择HBase Thrift Server的版本，包括v1和v2。StarRocks 升级StarRocks2至2.5.10版本。Doris 升级Doris至1.2.7版本。Celeborn 升级...
Broker Load
SET:定义了Hive表和Doris表之间的字段映射关系及字段转换的一些操作。HDFS文件系统数据导入 以上面创建好的Doris表为例，通过Broker Load从HDFS上导入数据的语句如下所示。LOAD LABEL demo.label_20220402(DATA INFILE("hdfs:/10.220.*.*:...
创建集群
仅EMR-5.12.0及之前版本，EMR-3.46.0及之前版本，且选择了Hive服务时，需配置以下参数。参数 说明 Hive存储模式 使用数据湖存储OSS-HDFS或OSS作为数据仓库的存储目录。如果取消勾选，则使用集群HDFS作为存储目录。默认勾选时，还需配置 ...
注册Hive Kerberos集群
如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，即可访问支持了Kerberos的Hive。使用限制 仅支持Hadoop 3版本的Hive Kerberos集群。一个...
EMR-3.32.x版本说明
适配Hadoop、Hive、Spark和Presto等引擎。HUDI 支持HUDI 0.6.0版本。Spark JindoTable支持打开或关闭数据采集功能。Hive 修复了HiveServer连接池泄漏的问题。JindoTable支持打开或关闭数据采集功能。优化 ADD COLUMN 的性能。修复了读取...
Impala概述
背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive...
EMR-3.34.x版本说明
增强Hive读写CSV或JSON表的兼容性。ANALYZE语句支持省略全表列名。支持一键开启或关闭LDAP功能。改进Spark Beeline工具的易用性。Hive 优化了部分默认配置。性能优化：增强CBO。支持一键开启或关闭LDAP功能。升级Calcite版本至1.12.0。增加...
自定义函数（UDF）
Hive提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍自定义函数的开发和使用流程。背景信息 UDF分类如下表。UDF分类 描述 UDF（User ...
Hive数据迁移
本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...
EMR-5.6.x版本说明
Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.2.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 DLF-Auth 2.0.0 Iceberg 0.13.1 Hudi 0.10.1 DeltaLake 1.1.0 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
EMR-3.40.x版本说明
Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 Iceberg 0.13.1 DLF-Auth 2.0.0 Hudi 0.10.1 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
EMR-4.8.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.4.0 Bigboot 3.4.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.3.4 Zookeeper 3.5.6 ...
- 产品推荐
- 这些文档可能帮助您