元数据管理常见问题

mysql-h${DBConnectionURL}-u${ConnectionUserName}-p 登录Hive数据库后,修改Location为该Region真实存在的OSS路径即可。如何登录内置的MySQL?通过SSH方式连接集群。详情请参见 登录集群。执行以下命令,登录内置的MySQL。mysql-uroot-...

数据Hive

前提条件 请确保您的网络连通性:您通过公网连接Quick BI与Hive数据库,请添加 Quick BI的IP地址 至数据库白名单,请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库,请搭建跳板机,并通过SSH隧道访问登录并访问数据库。已创建...

Hive

Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...

迁移服务(MMA)

数据库黑名单 不需要迁移的Hive数据库,多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量,⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...

快速使用EMR Notebook

本文以新建Hive数据库为例。在弹出的面板中,配置相关的参数。参数 说明 名称 新建数据库的名称,长度限制为1~64个字符,只允许包含中文、字母、数字、空格、短划线(-)和下划线(_)。本示例为demo_hive。网络类型 仅支持专有网络类型。...

Hive数据迁移

表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单,格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。单击...

Hive采集字段

简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集,当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点,采集的字段重点举例为:Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...

使用Hive查询JindoFS上的数据

例如,创建名为database_on_jindofs,location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...

DLF统一元数据

仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本,支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式,切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息,请参见 EMR元数据迁移公告...

自建Hive数据仓库迁移到阿里云E-MapReduce

可靠性 使用阿里云数据库RDS保存Hive的元数据信息,可以提升数据可靠性和服务可用性,免除客户运维自建MySQL数据库的工作。架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...

Hive连接器

使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,...

在EMR集群运行TPC-DS Benchmark

hive-e"desc database tpcds_bin_partitioned_orc_$SF"(可选)清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在,需要执行下面的命令清理数据库,否则后续流程会报错。如果不存在,则跳过该步骤。...

异构数据源访问

若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...

Superset(仅对存量用户开放)

使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库,包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库,以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...

配置连接器

连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...

通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark

hive-e"desc database tpcds_bin_partitioned_orc_$SF"(可选)清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在,需要执行下面的命令清理数据库,否则后续流程会报错。如果不存在,则跳过该步骤。...

Dataphin即席查询报错:"Can not read value at 0 in ...

问题描述 Dataphin集成任务同步成功,在即席查询中查询目标表报错:"java.io.IOException:parquet.io.ParquetDecodingException:Can not read value at 0 in...解决方案 hive数据库作为输出组件时,表中所有字段必须全部映射。适用于 Dataphin

DROP DATABASE

DROP DATABASE语句用于删除数据库。本文为您介绍DROP DATABASE的用法。使用限制 只有数据库的Superuser,或被Superuser授权为数据库Owner的用户,才可以删除数据库删除数据库时会同时删除数据库中的所有对象。您不能再连接使用已删除的...

删除数据库

您可以通过SQL命令或RDS管理控制台删除数据库,但每种方式适合的实例类型不同,请根据实际情况,选择删除方式。通过控制台删除数据库 访问 RDS实例列表,在上方选择地域,然后单击目标实例ID。在左侧导航栏单击 数据库管理。找到要删除的...

Quick BI上传文件入口按钮是灰色的

产品名称 Quick BI 产品模块 数据源 概述...更多信息 目前数据库类型只有mysql、Oracle、maxcompute、SQLserver四种类型数据库,支持本地文件上传,其他数据库会直接没有上传本地文件的入口,如下所示(hive数据库)相关文档 创建文件数据源:...

数据库管理

数据库Database)是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库,但是客户端程序一次只能连接上并且访问一个数据库,无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...

Hive连接器

使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和...

RDS SQL Server中无法直接删除数据库的处理方法

问题描述 在RDS SQL Server实例中删除数据库时,会出现以下场景的报错:如果数据库没有会话,对于RDS SQL Server 2008、2012和2016版,是用镜像做的主备同步,直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...

DROP DATABASE

DROP DATABASE语句用于删除数据库。语法 drop_database_stmt:DROP DATABASE[IF EXISTS]database_name;参数说明 参数 说明 IF EXISTS 用于防止当数据库不存在时发生错误。database_name 指定待删除数据库名。示例 删除数据库test。drop ...

使用限制

不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint:如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限,开源社区已不再发展,建议使用数据湖构建数据...

配置连接器

连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...

管理数据库

创建RDS MariaDB实例后,您需要在...执行如下命令,删除数据库:DROP DATABASE<database name>;相关API API 描述 CreateDatabase 创建数据库。DeleteDatabase 删除数据库。相关文档 创建RDS MariaDB实例 修改或重置账号权限 连接MariaDB实例

Hive数据按行过滤

test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...

配置连接器

连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...

管理数据库

创建RDS MySQL实例后,...执行如下命令,删除数据库:DROP DATABASE<database name>;相关API API 描述 CreateDatabase 创建数据库。DeleteDatabase 删除数据库。相关文档 创建RDS MySQL实例 修改账号权限 通过命令行、客户端连接RDS MySQL实例

Security Zone功能

背景信息 例如,某公司有部门A和部门B两个部门,部门A主要使用Hive database a,以及HDFS路径/a,部门B主要使用Hive database b,以及HDFS路径/b。如果要使用Security Zone功能,可以将Hive database a和HDFS路径/a 划分到Zone a当中,将...

Hive数据脱敏

test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...

数据库管理

本文介绍如何创建并删除MyBase MySQL实例数据库。前提条件 您已创建MyBase MySQL实例。具体操作,请参见 创建MyBase MySQL实例。创建数据库 登录 云数据库专属集群控制台。在页面左上角,选择目标地域。在页面左侧单击 实例管理>MySQL。...

删除数据库

本文介绍如何删除RDS PostgreSQL的数据库。操作步骤 说明 删除数据库后,系统将自动回收数据库使用空间。您可以通过 监控与告警 查看磁盘使用量,查看方法请参见 查看增强监控。访问 RDS实例列表,在上方选择地域,然后单击目标实例ID。在...

DROP DATABASE

DROP DATABASE语法用于删除指定的数据库。引擎与版本 DROP DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持DROP DATABASE语法。时序引擎无版本限制。语法 drop_database_statement:=DROP DATABASE[IF EXISTS]...

CREATE SCHEMA

不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...

数据库管理

本文为您介绍如何创建和删除 PolarDB PostgreSQL版 数据库。创建数据库 登录 PolarDB控制台。在控制台左上角,选择地域。单击目标集群ID。在左侧导航栏中,选择 配置与管理>数据库管理。单击 创建数据库。在 创建数据库 对话框中,设置以下...

数据库管理

本文为您介绍如何创建以及删除 PolarDB PostgreSQL版(兼容Oracle)数据库。创建数据库 登录 PolarDB控制台。在控制台左上角,选择集群所在地域。找到目标集群,单击集群ID。在左侧导航栏中,选择 配置与管理>数据库管理。单击 创建数据库...

DropDatabase

调用DropDatabase删除数据库。说明 此API接口无法删除数据库里面表的数据。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...

管理数据库

参数 说明 数据库DB)名称 以字母开头,以字母或数字结尾。由小写字母、数字、下划线(_)或中划线(-)组成。长度不超过64个字符。数据库名称在实例内必须是唯一的。说明 请勿使用保留关键字作为数据库名称,如 test、mysql 等。支持...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据库自治服务 云数据库 RDS 云数据库 MongoDB 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用