Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
Hive数据导入
E-MapReduce集群业务场景为 新版数据湖，元数据类型为 自建 RDS 或 内置 MySQL，具有Hive服务，且 Hive 存储模式 为HDFS（即去勾选 数据湖存储）。具体操作，请参见 创建集群。重要 元数据类型为 DLF 统一元数据 的E-MapReduce集群，暂不...
开通并配置OSS存储分析
EMR Doctor借助您Bucket中最新的清单文件，分析该Bucket的数据使用，健康状态以及与Hive存储分析关联。使用EMR Doctor OSS存储分析需要您为Bucket预先开通存储清单功能。清单功能的详细介绍，具体请参见 存储空间清单。注意事项 开通OSS...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
环境准备
使用Hive/HadoopMR来访问表格存储中的表前，您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
什么是OSS-HDFS服务
HDFS服务 实时计算Flink读写OSS或者OSS-HDFS Flume 使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务 HBase HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储 Hive Hive以EMR集群的方式处理OSS-HDFS服务中的数据 Impala Impala以EMR集群...
配置CDH6使用文件存储 HDFS 版
命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回结果示例如下：+-+-+-+-+-+-+-+|DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CREATE_TIME|+-+-+-+-+-...
创建集群
参数 说明 Hive存储模式 使用数据湖存储OSS-HDFS或OSS作为数据仓库的存储目录。如果取消勾选，则使用集群HDFS作为存储目录。默认勾选时，还需配置 Hive数据仓库路径，建议选择开通了HDFS服务的Bucket。说明 请确保具有访问OSS或OSS-HDFS ...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...
在EMR Hive或Spark中访问OSS-HDFS
EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群，支持OSS-HDFS（JindoFS服务）作为数据存储，提供缓存加速服务和Ranger鉴权功能，使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce（简称EMR）...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
方式二：在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径，然后重启Hive Metastore，后续创建的数据库和数据库下的表均默认存储于OSS-HDFS服务...
迁移Hive表和分区数据到OSS-HDFS服务
本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。前提条件 已创建EMR-3.36.0及以上版本（除3.39.x版本以外）或EMR-5.2.0（除5.5.x版本以外）及以上版本的集群。具体步骤，请参见 创建集群。已通过Hive命令...
HiveMetastore
本文主要介绍如何通过DLA连接并查询HiveMetastore里存储在HDFS的数据。前提条件 DLA目前仅支持通过CU版访问HiveMetastore，请确保您已经开通了DLA CU版本，具体请参见 DLA Presto CU版本快速入门。说明 创建虚拟集群时，绑定的数据源网络...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
External Catalog
注意事项 如果使用HDFS作为文件存储，则需要在StarRocks实例中配置用于连接至HDFS集群和Hive Metastore服务的用户名。如果不特意设定该用户名，则默认使用Frontend（FE）和 Backend（BE）进程的用户名进行访问（默认用户名为starrocks）。...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和OSS-HDFS。hive.metastore....
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
计算与分析概述
Hive或者HadoopMR 宽表模型 使用Hive或者HadoopMR 使用Hive或者HadoopMR访问 表格存储 中的数据。函数计算 宽表模型 使用函数计算 通过函数计算访问 表格存储，对 表格存储 增量数据进行实时计算。Flink 宽表模型 时序模型 使用Flink 通过...
EMR元数据迁移DLF最佳实践
本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品时，元数据迁移可以参考该文档。从阿里云EMR老...
配置Hive输入组件
文件编码 选择读取文件的存储在Hive的编码方式。文件编码包括 UTF-8 和 GBK。压缩格式 选择读取文件的压缩格式。系统支持的压缩格式包括：zip gzip bzip2 字段分隔符 填写字段的分割符。如果您没有填写分隔符，则Dataphin默认为您选中半角...
使用EasyRec读取Hive表
EasyRec支持csv和Parquet两种Hive文件存储格式。本文通过示例为您介绍，如何基于Hive在Data Science集群进行EasyRec模型训练、评估和预测。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建DataScience集群，且选择了EasyRec和...
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
- 产品推荐
- 这些文档可能帮助您