元数据管理

创建元数据库 登录 数据湖管理控制台,选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。(选填)输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后,...

API概览

本产品(数据湖构建/2020-07-10)的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。

独立RDS元数据库

数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库,首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...

数据湖构建的审计事件

数据湖构建已与操作审计服务集成,您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...

DatabaseInput

名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称,校验长度 128,不支持...

Database

名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如 HDFS 路径/hdfs/hivedb/...

Hive统一元数据

EMR-2.4.0之前版本,所有集群采用的是集群本地的MySQL数据库作为Hive元数据库;EMR-2.4.0及后续版本,E-MapReduce(简称EMR)支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接,所以集群必须要有公网IP,同时请...

Dataphin元数据仓库标准模型文档中表dim_dataphin_...

概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库(Dataphin中的项目绑定MaxCompute的项目),不在Dataphin的PostgreSQL中。需要用运维账号登录Dataphin查看。适用于 Dataphin

配置自建RDS

数据库名称>:步骤一:元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一:元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一:元数据库准备 中账号的...

UpdateDatabase-更新元数据库信息

CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称,更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...

集群高可用

阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用,此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份,能最大限度保证服务的可用性和数据的可恢复性。...

EMR+DLF数据湖解决方案

在新建元数据库对话框,配置元数据库参数。单击确定,完成元数据库创建。新建大数据集群,已有数据存在在OSS中,但没有元数据信息。可以使用 元数据抽取 来识别OSS上数据的元数据信息,并存储在DLF中。步骤三:初始化数据 初始化数据一般...

Dataphin中SQL脚本任务在元数据库存放位置

概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin

使用数据探索查询Iceberg表

准备工作 已开通DLF,并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了Iceberg元数据表。操作步骤 登录 数据湖构建控制台,在左侧菜单中选择 数据探索。在SQL输入框中,输入查询语句。针对Iceberg表,需要在指定的...

元数据迁移

元数据迁移提供可视化的元数据迁移能力,可以帮...验证元数据同步结果 在元数据管理-元数据库中,查询期望同步的数据库信息,可以查询到相应的数据库信息。在元数据管理-元数据表中,查询期望同步的数据表信息,可以查询到相应的数据表信息。

数据元数据管理

数据湖元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...

LockObj

名称 类型 描述 示例值 object LockObj CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称,非必填 dt TableName string 元数据表名称 ...

数据权限概述

数据湖权限支持配置数据数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作,对所需要配置的权限进行说明,并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录(Catalog)开启和关闭权限...

Quick BI中元数据库中记录报表使用分析的数据

概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中,每天凌晨4:30更新数据。适用于 Quick BI

DeleteDatabase-删除元数据库

Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade:true:删除 db 下的表,false:不删除 db 下的表,如果 db 还存在表,那么删除失败 返回...

产品简介

产品功能架构 元数据管理,通过控制台查看和管理数据湖中元数据库和表的信息,通过 新增元数据库 的方式操作元数据,集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作,通过入湖任务的...

EMR元数据迁移DLF最佳实践

本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中,并介绍如何在EMR集群中配置...

MySQL整实时同步至OSS数据

比如,定义的前缀为“abc_”,那么来源库名在数据湖中的元数据库就会自动加上此前缀,如"abc_my_db",“abc_test_table”等等,此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...

UpdateTablePartitionColumnStatisticsRequest

类型 描述 示例值 object UpdateTableColumnStatistics CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 ColumnStatisticsList array 字段统计信息列表 ColumnStatistics 字段统计 DatabaseName string 元数据库名称 ...

概述

参见 元数据管理 章节,定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分,左侧为主要功能区,右侧为产品主要信息,帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置,用户需要注册一个OSS的...

CreateDatabase-新增元数据库

数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...

Partition

名称 类型 描述 示例值 object Partition CreateTime integer 创建时间,Unix 时间戳秒数 1608730999 DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间 1608730999 LastAnalyzedTime integer ...

DeleteFunction-删除元数据库的函数

根据名称删除数据元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...

查询授权

本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型:包括元数据表、元数据库、元数据列三种类型。资源名称:指定具体的资源名称,如数据库的库名。数据权限:授权的权限名称,关于权限描述可参考 权限配置。

CreateFunction-新增元数据库的函数

JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...

EMR元数据迁移到数据湖构建(DLF)

元数据库 页签中,可以查询到期望同步的元数据库表信息。EMR集群切换元数据 引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置,开启 自动配置更新 并保存,然后重启Hive服务。配置DLF元数据服务地址,Region替换为集群...

PartitionInput

名称 类型 描述 示例值 object Partition DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间,Unix 时间戳秒数 1608730999 LastAnalyzedTime integer 上一次执行统计运算的时间,Unix 时间戳秒...

UpdateFunction-更新元数据库的函数

JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...

元数据导出

前提条件 已有一个EMR集群,且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务,以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上,如果location的路径为...

创建Hudi数据

各同步模式需配置不同参数:hms:Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms,则hive需开启metastore server。jdbc:Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...

Function

CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间,Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...

快速入门

数据湖构建(Data Lake Formation,DLF)产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源,当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表,指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。

元数据库数据字典

云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库,兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表,示例如下:select*from TABLES where table_schema='test' ...

GetDatabase-获取元数据库详情

获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...

从统一元数据库迁出到用户自建的RDS实例

为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS,详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本;系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 MongoDB 版 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用