配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
使用Hive查询JindoFS上的数据
Apache Hive是Hadoop生态中广泛使用的SQL引擎之一，让用户可以使用SQL实现分布式的查询，Hive中数据主要以undefinedDatabase、Table和Partition的形式进行管理，通过指定位置（Location）对应到后端的数据。JindoFS配置 以EMR-3.35版本为例...
访问Hive数据源
本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。如果您是通过阿里云账号访问，只需创建高权限账号。...
元数据管理常见问题
本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....
JindoTable表或分区访问热度收集
Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令方式查询热度信息。语法 jindo table-accessStat[days]>[topNums]>days 和 topNums 为正整数。当只设置天数为1时，表示查询从本地时间...
JindoTable表或分区访问热度收集
Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令方式查询热度信息。语法 jindo table-accessStat[days]>[topNums]>days 和 topNums 为正整数。当只设置天数为1时，表示查询从本地时间...
JindoTable表或分区访问热度收集
Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令方式查询热度信息。语法 jindo table-accessStat[days]>[topNums]>days 和 topNums 为正整数。当只设置天数为1时，表示查询从本地时间...
JindoTable表或分区访问热度收集
Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令方式查询热度信息。语法 jindo table-accessStat[days]>[topNums]>days 和 topNums 为正整数。当只设置天数为1时，表示查询从本地时间...
JindoTable表或分区访问热度收集
Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令方式查询热度信息。语法 jindo table-accessStat[days]>[topNums]>days 和 topNums 为正整数。当只设置天数为1时，表示查询从本地时间...
JindoTable表或分区访问热度收集
Hive的数据收集默认是关闭的，如果需要打开，请参见 开启Hive热度收集。数据查询 JindoTable提供了命令方式查询热度信息。语法 jindo table-accessStat[days]>[topNums]>days 和 topNums 为正整数。当只设置天数为1时，表示查询从本地时间...
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
管理数据库
本文为您介绍如何新建、编辑或删除数据库。前提条件 已创建工作空间，详情请参见 管理工作空间。已创建EMR on ECS形态下的集群或Serverless StarRocks实例，详情请参见 创建集群 或 创建实例。支持的集群类型为DataLake、Hadoop和自定义...
配置hosts
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
表设计最佳实践
表设计指南 建议将数据信息划分为基本属性表和天气日志表，分别用于存储变化小和变化大的数据。因为天气信息的数据量巨大，在对天气日志表按照地域进行分区后，可以按照时间（例如，天）进行二级分区。此种分区方式可避免发生因某一个地点...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
Dataphin集成任务同步数据到Hive报错“GSS initiate ...
问题描述 Dataphin集成任务同步数据到Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin
文件存储 HDFS 版和数据库MySQL双向数据迁移
实践四：将Hive的数据迁移到MySQL 将Hive的数据迁移到MySQL上，需要先在MySQL上创建好对应Hive数据结构的表，然后在集群Sqoop节点上使用 sqoop export 命令进行迁移。此处以迁移Hive上default.employee中的数据为例，该表中已写入如下数据...
数据源Hive
本文为您介绍如何创建数据源Hive。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH...
Hive数据源
不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 hive。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/<Hive metastore的IP地址>:<端口号>，端口号默认为9083。DLF 使用DLF...
迁移服务（MMA）
步骤一：安装UDTF 使用MaxCompute迁移功能时，需要在Hive服务器上安装UDTF（Unified Data Transfer Service）并自定义Hive UDTF函数，利用Hive UDTF函数来获取、转换、上传数据到MaxCompute，以实现复杂数据的迁移。关于Hive UDTF详情，请...
Hive访问EMR HBase数据
Hive通过外表访问HBase 如果已经在HBase中创建了表，想通过Hive访问，则可以使用Hive外表的方式与HBase中的表建立映射关系，进而通过Hive访问HBase中已经存在的表。退出Hive命令行后，执行以下命令，进入HBase命令行。hbase shell 在HBase...
Hive访问EMR HBase数据
Hive通过外表访问HBase 如果已经在HBase中创建了表，想通过Hive访问，则可以使用Hive外表的方式与HBase中的表建立映射关系，进而通过Hive访问HBase中已经存在的表。退出Hive命令行后，执行以下命令，进入HBase命令行。hbase shell 在HBase...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
Hive访问Delta Lake和Hudi数据
Hive不支持写入数据到...Hive查询Hudi 说明 Hudi仅支持Spark或者Flink建表和写入数据，Hive仅支持查询。直接输入 hive 命令进入Hive CLI命令行或者通过Beeline连接Hive ThriftServer，然后执行SQL语句即可。示例如下。select select*from h0;
配置Presto开启Ranger权限控制
因此，要开启Presto的Ranger，请确保同一集群内包含Hive服务，或Presto能够访问一个包含Hive服务的数据集群。当前版本的Presto+Ranger与Kerberos存在冲突，需要确保Hive所在的集群未开启Kerberos。配置方法 配置Hive开启Ranger权限控制，...
通过数据湖元数据DLF读写Hudi
场景二：维度打宽入湖 使用ODS层的Hudi数据和Hive的维度表关联打宽填充维度字段，最后写入新的Hudi表。例如，已有表dlf_catalog.test.hive_dim_tbl，表结构如下。id int name string 详细示例如下。创建目标Hudi表 CREATE TABLE dlf_...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
Hive调研工具准备
该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作，通过这篇文档，您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具（简称hive-scanner）的机器。用户授权 Hive扫描工具（简称hive-scanner）需要...
- 产品推荐
- 这些文档可能帮助您