ListLiveRecordVideo-获取直播转点播视频列表

调用ListLiveRecordVideo获取直播转点播视频列表。接口说明 最多支持获取指定筛选条件的前 5000 条。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 ...

2019年

Hive迁移到MaxCompute最佳实践 2019-10-28 新增支持VPC网络IP白名单设置。新功能 新增支持VPC网络IP白名单设置。项目空间操作 管理IP白名单 2019-10-18 新增PyODPS示例。新示例 新增PyODPS的排序示例。新增PyODPS的去重。新增PyODPS的采样...

Hive指标

Hive指标包含以下部分:HIVE-HiveServer2 HIVE-MetaStore HIVE-HiveServer2 参数 指标 描述 JVM MemHeapInit hive_server_memory_heap_init JVM初始化堆内存。单位:Byte。JVM MemHeapCommitted hive_server_memory_heap_committed JVM已...

UDF(地理空间)

cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...

Hive连接器

使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和...

管理Hive Catalog

本文将从以下方面为您介绍如何管理Hive Catalog:配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前,需要完成以下配置:使用...

EMR Hive功能增强

本文为您介绍E-MapReduce(简称EMR)各版本对应的Hive组件版本,以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...

Hive数据源

Hive Catalog是一种External Catalog。通过Hive Catalog,您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群,例如DataLake或Custom集群,详情请见 ...

使用Hive访问

nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service metastore&nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service hiveserver2&验证Apache Hivehive Shell中创建一张表。create table test(f1 INT,f2 STRING);在表中写入...

Hive连接器

使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,...

Hive访问EMR HBase数据

在阿里云E-MapReduce(EMR)中,Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍,如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...

Hive访问EMR HBase数据

在阿里云E-MapReduce(EMR)中,Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍,如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...

普通模式和Hive兼容模式下SQL的差异

本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND(&)当输入参数是BIGINT类型的时候,如果BITAND的计算结果是LONG_MIN(-2 63),在普通模式下会返回NULL,而Hive模式仍然是...

Hive概述

Hive是一个基于Hadoop的数据仓库框架,在大数据业务场景中,主要用来进行数据提取、转化和加载(ETL)以及元数据管理。背景信息 E-MapReduce(简称EMR)版本中,Hadoop、Hive版本和EMR集群的配套情况,请参见 版本概述。Hive结构 名称 说明...

Hive作业异常排查及处理

hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析:在Hive lib目录($HIVE...

LIST FUNCTIONS

查看MaxCompute项目中所有自定义函数的信息。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....

Hive采集字段

基本信息 通过对Hive的对象信息进行盘点,采集的字段重点举例为:Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息,采集的字段重点...

Hive调研工具准备

该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作,通过这篇文档,您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具(简称hive-scanner)的机器。用户授权 Hive扫描工具(简称hive-scanner)需要...

访问Hive数据源

AnalyticDB MySQL湖仓版(3.0)支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例,介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版(3.0)集群。具体操作,请参见 创建湖仓版(3.0)集群。已创建数据库账号。...

UDF示例:兼容Hive

本文以在MaxCompute客户端操作为例,为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作,请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时,您需要注意:在...

Hive开发手册

本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时,先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下:示例1 编写如下...

Hive数据源

The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...

Hive访问云HBase数据

阿里云HBase需要借助外部Hive对多表进行关联分析,本文介绍如何使用E-MapReduce(简称EMR)上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤,请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...

EMR Gateway升级EMRHOOK组件

hive-site.xml(/etc/taihao-apps/hive-conf/hive-site.xml)配置项:hive.aux.jars.path 配置值末尾添加(注意分隔符是逗号),/opt/apps/EMRHOOK/emrhook-current/${hive-jar} 配置项:hive.exec.post.hooks 配置值添加 ...

Hive作业配置

E-MapReduce默认提供了Hive环境,您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目,详情请参见 项目管理。已准备好Hive SQL的脚本,并上传到OSS的某个目录中(例如 oss:/path/to/uservisits_aggre_hdfs.hive)。...

Hive访问EMR Phoenix数据

在阿里云E-MapReduce(EMR)中,Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍,如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...

Paimon与Hive集成

E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群,支持在Hive中查询Paimon中的数据。操作步骤 查询Hive Catalog与DLF Catalog中...

Flink Table Store与Hive集成

E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群,支持在Hive中查询Flink Table Store中的数据。操作步骤 ...

External Catalog

CREATE EXTERNAL CATALOG delta_catalog properties("type"="deltalake","hive.metastore.type"="hive","hive.metastore.uris"="thrift:/*.*.*.*:9083");常见操作 切换数据库 use hive.defalut;查看表结构 desc customer;show create table...

Hive数据迁移

本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...

Hive数据脱敏

Ranger支持对Hive数据的脱敏处理(Data Masking),即可以对Select的返回结果脱敏,以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景(例如,Beeline、JDBC和Hue等途径执行的Select语句)。操作步骤 说明 本文Ranger截图以2.1.0...

Hive连接方式

本文为您介绍在E-MapReduce集群提交Hive SQL的三种方式。前提条件 已创建集群,且选择了Hive服务,详情请参见 创建集群。注意事项 本文示例中需替换的参数:<主节点的节点名称>:您可以在EMR控制台目标集群的 节点管理 页面获取,具体操作...

通过Hive访问云数据库HBase

云数据库HBase支持通过Hive读写数据,本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中,具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...

Hive访问Iceberg数据

Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群,详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...

Hive Metastore使用加密文件访问RDS

DataLake或Custom集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hive$HIVE_CONF_DIR/hive.jceks Hadoop集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hadoop$HIVE_CONF_DIR/hive.jceks 在EMR控制台目标集群Hive...

Hive SQL作业配置

本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目,详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域 和资源组。单击上方的 ...

通过Hive访问HBase增强版

本文介绍如何通过Hive访问HBase增强版。前提条件 HBase增强版集群为2.4.3及以上版本。如何查看或升级当前版本,请参见 小版本升级。已将客户端IP地址添加至HBase增强版集群的白名单。如何添加,请参见 设置白名单和安全组。已在控制台获取...

通过数据湖元数据DLF读写Hudi

mkdir/etc/taihao-apps/hive-conf scp root@节点内网的IP地址>:/etc/taihao-apps/hive-conf/hive-site.xml/etc/taihao-apps/hive-conf/步骤二:启动Flink SQL 重要 务必将DLF的依赖包放置在Hive依赖包的前面,其中DLF依赖包中嵌入了Hudi的...

迁移服务(MMA)

MaxCompute提供的数据迁移服务支持通过MMA(MaxCompute Migration Assist)服务,将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情,请参见 Schema...

Hive数据按行过滤

Ranger支持对Hive数据按行进行过滤(Row Level Filter),即可以对Select返回的结果按行进行过滤,只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群,并选择了Ranger服务,详情请参见 创建集群。已创建按...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
视频点播 视频直播 视图计算 钉钉会议 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用