Hive统一元数据
背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请不要随意的切换公网IP地址，防止对应的数据库白名单失效。如果是本地的元数据库，您可以使用集群上的Hue工具来管理。E-MapReduce后台RDS统一管理元数据的方式，...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。数据湖格式：选择 Hudi。分区信息 设置数据入湖存储时的分区，后续入湖同步写入数据时，根据来源端数据的写入...
EMR元数据迁移DLF最佳实践
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...
EMR+DLF数据湖解决方案
步骤六（可选）：使用生命周期对数据湖存储进行合理规划，节省存储成本 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于分区/表创建时间、分区/表最近修改时间、分区值三种规则类型，对数据定期进行OSS存储...
元数据管理
您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
API概览
本产品（数据湖构建/2020-07-10）的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
使用星环TDH作为元仓计算引擎进行元仓初始化
以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目的写入表及...
元数据仓库共享模型概述
提高系统稳定性：如果您直接连接元数据库查询或同步数据，可能会对Dataphin系统的稳定性产生影响，从而影响功能使用。提升输出稳定性：Dataphin的系统元数据库表结构可能会跟随功能升级产生变化，包括表新增下线、字段新增下线等。直接使用...
Quick BI中元数据库中记录报表使用分析的数据
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中，每天凌晨4:30更新数据。适用于 Quick BI
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。详细信息 物理表每天的增量没法直接看到，只能从元数据上每天计算差值。查看表的存储量需要在元数据仓库中查看表dim_dataphin_table，获取相关信息。此表在...
集群高可用
元数据库 Cloudera Manager、Hive和Hue等组件都需要使用数据库存储他们的元数据信息，目前元数据库部署在Utility节点和Master-1节点上，采用主备的架构，Utility节点上的元数据库作为Master，Master-1节点上的元数据库作为Slave去复制...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
创建TDH Inceptor数据源
数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本：数据库类型为 MySQL，需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL：填写对应元数据库的链接...
新建ArgoDB数据源
数据库类型 根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、CSV、Parquet、JSON、ORC等格式的表；受限于Spark和Iceberg的底层设计，在DLF数据探索中查询Iceberg表需要指定特定的Catalog。准备工作 已开通DLF...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
创建Impala数据源
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
实例元数据
访问 实例元数据 重要 实例或实例元数据中若包含了敏感数据，建议您采取适当的措施来保护敏感数据，例如访问控制、数据加密等。实例元数据访问 模式说明 实例元数据支持普通模式和加固模式两种访问模式。普通模式和加固模式 的区别 对比项 ...
新建ArgoDB计算源
数据库类型 选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/<host>:<port>/<database name>。用户名、密码 填写登录元数据库的用户名和密码。说明 为保证任务正常执行，请...
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
MySQL整库实时同步至OSS数据湖
比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
概述
用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的服务，用户使用流程如下：开通公测流程后，登录阿里云管理控制台，选择 数据湖构建，进入 数据湖管理控制台。参见 数据源管理 章节，创建数据源，选择希望导入到数据湖的...
Hive元数据基本操作
在 表管理 页面的中间区域，单击已创建的元数据库。单击右上角的 新建表。在 新建表 对话框中，配置各项参数。配置项 操作 表名 表名称。字段分隔符 从 字段分隔符 中选择分隔符或者自定义。外部表 默认不选中。需要创建外部表时，执行以下...
元数据导出
前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...
创建Impala数据源
参数 描述 数据库类型 请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
元数据库数据字典
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
独立RDS元数据库
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库，首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
创建TDH Inceptor计算源
前提条件 若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...
DoMetaQuery
不建议使用ETag作为Object内容的MD5来校验数据完整性。父节点：File OSSTaggingCount 整型 2 Object的标签个数。父节点：File OSSTagging 容器 不涉及 标签信息的容器。子节点：Tagging 父节点：File Tagging 容器 不涉及 单个标签信息的...
为Spark集群设置元数据
背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 ...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
- 产品推荐
- 这些文档可能帮助您