数据Hive

前提条件 请确保您的网络连通性:您通过公网连接Quick BI与Hive数据库,请添加 Quick BI的IP地址 至数据库白名单,请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库,请搭建跳板机,并通过SSH隧道访问登录并访问数据库。已创建...

使用Hive查询JindoFS上的数据

例如,创建名为database_on_jindofs,location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...

Superset(仅对存量用户开放)

使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库,包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库,以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...

元数据管理常见问题

java.net.UnknownHostException: *”问题分析:由于在之前的集群上创建了Hive数据库,并且数据库的位置是落在之前集群的HDFS之上,但是在集群释放的时候,没有清理掉对应的Hive Database,导致新建集群之后,无法访问到之前已经释放集群...

Hive

Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...

DLF统一元数据

切换为MySQL(包括集群内置MySQL、统一meta数据库和自建RDS):设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据:设置 hive....

CREATE SCHEMA

不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...

在EMR集群运行TPC-DS Benchmark

hive-e"desc database tpcds_bin_partitioned_orc_$SF"(可选)清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在,需要执行下面的命令清理数据库,否则后续流程会报错。如果不存在,则跳过该步骤。...

配置连接器

连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...

通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark

hive-e"desc database tpcds_bin_partitioned_orc_$SF"(可选)清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在,需要执行下面的命令清理数据库,否则后续流程会报错。如果不存在,则跳过该步骤。...

ListMetaDB

调用ListMetaDB查询数据库列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListMetaDB ...

Hive数据按行过滤

test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...

配置连接器

连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...

配置连接器

连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...

Hive数据脱敏

test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...

新建表

有关分区方法,请参见 OceanBase 数据库分区表。字段 选择作为分区键的字段。表达式 根据表达式的返回值进行分区(Oracle 模式下不支持分区表达式)。分区 根据所选的 分区方法,可能需要指定 分区名称、分区数量、区间上限值 或 值枚举 等...

分区裁剪

分区裁剪(Partition Pruning)是数据库分区表中常用的性能优化手段。使用限制 仅支持分区表。仅支持在Range或List分区列上使用范围、等式和IN列表谓词。AnalyticDB PostgreSQL 7.0版 支持Hash分区,Hash分区只能通过等值条件进行裁剪。...

分区热力图

当采集的原始分区总数量超过1600时会对分区统计信息进行合并(不会对原分区造成影响,只合并热力统计信息),仅当被合并分区属于同一DN节点且属于同一逻辑表时才能进行合并,数据量越小的分区合并范围越大,当合并后的总分区数仍然超过3200...

分区热力图

当采集的原始分区总数量超过1600时会对分区统计信息进行合并(不会对原分区造成影响,只合并热力统计信息),仅当被合并分区属于同一DN节点且属于同一逻辑表时才能进行合并,数据量越小的分区合并范围越大,当合并后的总分区数仍然超过3200...

Hive采集字段

简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集,当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点,采集的字段重点举例为:Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...

迁移与批量上云

来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS(PolarDB-X)DM Hive DB2 ApsaraDB for ...

Database

名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如 HDFS 路径/hdfs/hivedb/...

DatabaseInput

名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称,校验长度 128,不支持...

分区合并

当前表的二级分区是非模板化二级分区时,多个一级分区合并后,新分区只保留一个二级分区,该二级分区的空间取所有待合并分区的所有子分区的合集,对于离散的二级分区(list/list column),取所有的values集合;对于连续的空间的二级分区,...

通过Hive访问云数据库HBase

数据库HBase支持通过Hive读写数据,本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中,具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...

配置自建RDS

DataLake和Custom集群在创建过程中会自动根据所提供的数据库连接参数初始化Hive Meta数据库,因此无需执行该步骤。步骤一:元数据库准备 创建数据库。具体操作,请参见 创建数据库 中的创建数据库。创建普通用户并授权读写权限。具体操作,...

创建Hudi数据

同步到Hive数据库名称:填写同步到Hive数据库名称。单击 确定,完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通,因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...

Hive服务异常排查及处理

解决方案:需要手动初始化Hive Meta数据库。具体步骤,请参见 Metastore初始化。HiveMetaStore问题 常见异常:org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(message:Could not connect to meta store using any of the...

CREATE DATABASE

CREATE DATABASE语句用于创建数据库,并可以指定数据库的默认属性(如数据库默认字符集,校验规则等)。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...

2019年

2019-11-18 全部区域 配置JDBC使用Tableau 新增MaxCompute JDBC驱动 MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。...

分区表命令列表

ALTER TABLE.MERGE SUBPARTITION 将两个子分区合并为一个新子分区,新子分区中包含原有两个子分区的内容。删除 ALTER TABLE…DROP PARTITION 删除分区结构和存储在这个分区上的数据。ALTER TABLE…DROP SUBPARTITION 删除子分区结构及存储...

HDFS数据

目前HDFS Reader不支持对Hive元数据的数据库进行访问查询,因此您在进行类型转换时,必须指定数据类型。RCFile、ParquetFile、ORCFile、TextFile和SequenceFile中的类型,会默认转为数据集成支持的内部类型,如下表所示。类型分类 数据集成...

修改、删除和新增分区

本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时,ALTER TABLE DDL 修改、删除和新增分区的支持转换范围。总览 alter_table_partitioning:{ modify_table_default_attrs|alter_automatic_partitioning|alter_...

概述

组合分区提供了二维分区的优点。从性能的角度来看,您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此,子分区的属性是独立的,可以与表的属性或子分区所属的一级分区不同,使用中更加灵活。

Hive统一元数据

EMR-2.4.0之前版本,所有集群采用的是集群本地的MySQL数据库作为Hive元数据库;EMR-2.4.0及后续版本,E-MapReduce(简称EMR)支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接,所以集群必须要有公网IP,同时请...

管理数据库

Hive 参数 说明 数据库类型 Hive 名称 新建数据库的名称,长度限制为1~64个字符,只允许包含中文、字母、数字、空格、短划线(-)和下划线(_)。网络类型 仅支持专有网络类型。专有网络 选择EMR集群所属的VPC网络信息。安全组 选择EMR集群...

使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS

本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境,默认已安装JindoSDK,可以直接使用。说明 访问OSS-HDFS,需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境,需先...

使用E-Mapreduce访问

Hive的元数据存储在MySQL中,进入存储Hive元数据的MySQL数据库hivemeta中,修改DBS表和SDS表,如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...

ALTER TABLE

alter table 只会影响分区表的新建分区(包括 insert overwrite 生成的),新分区将按新的聚簇属性存储,老数据分区的聚簇属性和存储保持不变。即在一张曾经做过聚簇属性设置的表上,关闭了聚簇属性,再增加聚簇设置,可以在新分区设置不同...

应用场景

同时,OceanBase 数据库分区表方案也可以使得用户完全无需关注数据的分布细节,轻松支持跨分区的分布式事务、多分区的关联,真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的,系统中保存了很...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 MongoDB 版 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用