注册Hive Kerberos集群
在实时计算控制台上注册Hive Kerberos集群信息后，可以访问支持Kerberos的Hive。本文为您介绍如何注册Hive Kerberos集群。背景信息 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的...
管理Hive Catalog
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
安全白皮书
如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在实时计算控制台注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，即可访问支持了Kerberos的Hive，具体操作请参见 注册Hive Kerberos集群。账号密码 工作空间账号...
2021-12-16版本
支持图形化的方式注册Catalog 您可以使用图形化的方式注册Hive、Hologres、MySQL的Catalog。支持检测state兼容性 在修改作业选择历史state恢复的情况下，会协助您进行兼容性检测，判断业务影响。支持变量替换功能 可以设置通用变量（例如AK...
Flink JAR作业快速入门
无需填写 更多设置 打开该开关后，您需要配置以下信息：Kerberos集群：单击左侧下拉列表选择您已创建的Kerberos集群，Kerberos集群创建操作详情请参见 注册Hive Kerberos集群。principal：Kerberos principal又称为主体，主体可以是用户或...
Flink Python作业快速入门
无需填写 更多设置 打开该开关后，您需要配置以下信息：Kerberos集群：单击左侧下拉列表选择您已创建的Kerberos集群，Kerberos集群创建操作详情请参见 注册Hive Kerberos集群。principal：Kerberos principal又称为主体，主体可以是用户或...
创建Hadoop计算源
重要 只有具备CREATEFUNCTION权限，才可以通过Dataphin在Hive上注册自定义函数。如果没有该权限，则不可以通过Dataphin创建自定义函数，也不能使用Dataphin的资产安全功能。HDFS上UDF的存放目录的读、写、执行权限。HDFS上UDF存放目录默认...
2023-06-21版本
管理Hive Catalog 支持SLS Catalog 通过Catalog的方式注册元数据后，在创建SQL时，无需再频繁使用DDL创建SLS源表。管理SLS Catalog 支持MaxCompute Catalog 通过Catalog的方式注册元数据后，在创建SQL作业时，无需再频繁使用DDL创建...
元数据采集
CDH Hive 管理中心-注册开源集群 自动启动采集 是 取决于自定义采集计划 实时 实时 Data Lake Formation（DLF）自动启动采集 否 实时 实时 不适用 其他数据源类型（MySQL、PostgreSQL、SQL Server、Oracle、Table Store（OTS）、StarRocks...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
UDF（地理空间）
cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
Spark UDF
使用元数据服务管理用户自定义函数UDF 注册UDF Spark元数据支持UDF使用 Hive 1.2.1 标准来进行开发，注册UDF的示例如下：CREATE FUNCTION function_name AS class_name USING resource_location_list;参数名称 参数说明 function_name 注册...
启动Windows实例时，提示“no bootable device”错误...
选中 HKEY_LOCAL_MACHINE，然后选择 File>Load Hive.加载离线注册表，路径为 D:\Windows\System32\config\SYSTEM，注册表名称为 OfflineSYSTEM。删除 HKEY_LOCAL_MACHINE\OfflineSYSTEM\ControlSet001\Control\Class\{4d36e967-e325-11ce-...
2019年
新功能 您可以将开源地理空间UDF注册到MaxCompute中，以兼容开源Hive UDF的方式使用地理空间函数。UDF（地理空间）2019-12-19 包年包月新增非预留资源规格。新规格 包年包月发布新规格非预留计算资源，售价为40元/CU/月。包年包月非预留...
功能简介
支持对MaxCompute、DataHub、Hive、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、Table Store、HiveStorage、Lindorm、Oracle、AnalyticDB MySQL、AnalyticDB MySQL2.0和SQL Server数据表资源展现。支持通过手动刷新进行元数据同步。...
功能简介
支持对MaxCompute、DataHub、Hive、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、Table Store、HiveStorage、Lindorm、Oracle、AnalyticDB MySQL、AnalyticDB MySQL2.0和SQL Server数据表资源展现。支持通过手动刷新进行元数据同步。...
公告
本文为您提供关于MaxCompute使用功能的各项更新记录。DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年03月11日（周一）至 2024年04月25日（周四）期间，逐步升级各个地域的独享资源组，以增强...
Hive指标
Hive指标包含以下部分：HIVE-HiveServer2 HIVE-MetaStore HIVE-HiveServer2 参数 指标 描述 JVM MemHeapInit hive_server_memory_heap_init JVM初始化堆内存。单位：Byte。JVM MemHeapCommitted hive_server_memory_heap_committed JVM已...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive Catalog。创建Hive Catalog 语法 CREATE EXTERNAL CATALOG<catalog_name>PROPERTIES("key"="value",.);参数说明 catalog_name：Hive Catalog的名称，必...
Hive数据源
Hive Catalog是一种External Catalog。通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群，例如DataLake或Custom集群，详情请见 ...
使用Hive访问
nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service metastore&nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service hiveserver2&验证Apache Hive 在hive Shell中创建一张表。create table test(f1 INT,f2 STRING);在表中写入...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
Hive作业异常排查及处理
hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析：在Hive lib目录（$HIVE...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
Hive调研工具准备
该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作，通过这篇文档，您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具（简称hive-scanner）的机器。用户授权 Hive扫描工具（简称hive-scanner）需要...
访问Hive数据源
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
Hive开发手册
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
EMR Gateway升级EMRHOOK组件
hive-site.xml(/etc/taihao-apps/hive-conf/hive-site.xml)配置项：hive.aux.jars.path 配置值末尾添加（注意分隔符是逗号）,/opt/apps/EMRHOOK/emrhook-current/${hive-jar} 配置项：hive.exec.post.hooks 配置值添加 ...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
- 产品推荐
- 这些文档可能帮助您