元数据管理常见问题
删除Hive Database时提示“java.lang.IllegalArgumentException:java.net.UnknownHostException: *”问题分析：由于在之前的集群上创建了Hive的数据库，并且数据库的位置是落在之前集群的HDFS之上，但是在集群释放的时候，没有清理掉对应的...
DropDatabase
说明 此API接口无法删除数据库里面表的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
元数据管理
说明 default库为DLF默认创建数据库，该数据库无法删除。生产环境建议使用其他数据库。在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
Hive数据迁移
表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单，格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。单击...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
Hive连接器
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。前提条件 已创建EMR-3.45.0及后续版本和EMR-5.11.0及后续版本...
Hive连接器
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。本文为您介绍Hive连接器相关的内容和操作，具体如下：修改Hive...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
在EMR集群运行TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
删除数据库
您可以通过SQL命令或RDS管理控制台删除数据库，但每种方式适合的实例类型不同，请根据实际情况，选择删除方式。通过控制台删除数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。找到要删除的...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
RDS SQL Server中无法直接删除数据库的处理方法
问题描述 在RDS SQL Server实例中删除数据库时，会出现以下场景的报错：如果数据库没有会话，对于RDS SQL Server 2008、2012和2016版，是用镜像做的主备同步，直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...
DROP DATABASE
DROP DATABASE语句用于删除数据库。本文为您介绍DROP DATABASE的用法。使用限制 只有数据库的Superuser，或被Superuser授权为数据库Owner的用户，才可以删除该数据库。删除数据库时会同时删除数据库中的所有对象。您不能再连接使用已删除的...
配置连接器
Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg连接器 mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接器 ...
管理数据库
删除数据库 警告 删除数据库会导致数据库无法访问，请谨慎操作。通过控制台 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。找到要删除的数据库，单击其右侧 操作 列中的 删除。在弹出的确认框中，...
DROP DATABASE
DROP DATABASE语句用于删除数据库。语法 drop_database_stmt:DROP DATABASE[IF EXISTS]database_name;参数说明 参数 说明 IF EXISTS 用于防止当数据库不存在时发生错误。database_name 指定待删除的数据库名。示例 删除数据库test。drop ...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
管理数据库
删除数据库 警告 通过SQL命令或RDS控制台删除数据库，会导致数据库无法访问，请谨慎操作。通过控制台 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。找到要删除的数据库，单击其右侧 操作 列中的 ...
索引
DROP DATABASE语句用于删除数据库。语法 drop_database_stmt:DROP DATABASE[IF EXISTS]database_name;参数说明 参数 说明 IF EXISTS 用于防止当数据库不存在时发生错误。database_name 指定待删除的数据库名。示例 删除数据库test。drop ...
DROP DATABASE
DROP DATABASE 用于删除数据库。语法 DROP DATABASE db_name;说明 删除数据库之前，必须先删除数据库中的表。示例 use adb_demo2;show tables;Tables_in_adb_demo2|+-+|test2|+-+drop table test2;drop database adb_demo2;
CREATE DATABASE
CREATE DATABASE语句用于创建数据库。本文为您介绍CREATE DATABASE的用法。使用限制 单个实例最多可创建64个数据库。语法 CREATE DATABASE db_name[[WITH][OWNER[=]user_name];参数说明如下表所示。参数 描述 db_name 创建的数据库名称，只...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
数据库管理
本文介绍如何创建并删除MyBase MySQL实例数据库。前提条件 您已创建MyBase MySQL实例。具体操作，请参见 创建MyBase MySQL实例。创建数据库 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在页面左侧单击 实例管理>MySQL。...
数据库管理
本文为您介绍如何创建和删除 PolarDB PostgreSQL版 数据库。创建数据库 登录 PolarDB控制台。在控制台左上角，选择地域。单击目标集群ID。在左侧导航栏中，选择 配置与管理>数据库管理。单击 创建数据库。在 创建数据库 对话框中，设置以下...
配置连接器
Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接器 Iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg连接器 ...
数据库管理
本文为您介绍如何创建以及删除 PolarDB PostgreSQL版（兼容Oracle）数据库。创建数据库 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏中，选择 配置与管理>数据库管理。单击 创建数据库...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
管理数据库
您可以在控制台管理所有的 PolarDB 数据库。创建数据库 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏中，单击 配置与管理>数据库管理。单击 创建数据库。在 创建数据库 面板中，设置...
- 产品推荐
- 这些文档可能帮助您