概述
元数据管理 数据湖元数据管理包括元数据库和元数据表两层结构构成。数据源 用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前...
数据治理
可视化元数据管理 数据地图可以可视化的查看表Schema、产出信息、血缘信息等，不需要通过SQL命令，即可快速的了解业务表的概貌和更多高级的元数据信息。数据地图的详细操作请参见 数据地图概述。数据质量监控 应用场景 从完整性、准确性、...
元数据管理常见问题
本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....
数据库
在HoloWeb开发页面，单击 元数据管理>数据库。您也可以在 元数据管理 界面的 已登录实例 列表。鼠标右击目标连接，选择 新建数据库。配置 数据库名称、权限策略 和 立即登录 参数，单击 确认。参数 说明 实例名 默认展示当前数据库所在的已...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计...元数据管理 主要负责增量场景下 事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。数据文件组织 主要包含对全量和增量 数据文件格式 的管理以及读写相关的模块。
权限设置
开启权限后影响如下：DLF的元数据管理，数据探索功能将会受到权限控制，如用户未被授予权限，则无法访问对应元数据和数据。E-MapReduce中如同时开启引擎（如Hive/Spark/Presto/Impala）的权限控制，则通过这些引擎访问数据时，如用户未设置...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
为Spark集群设置元数据
横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 人工智能平台 PAI 等。多个EMR集群时，可以统一管理元数据。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 步骤一：创建集群。使用...
解决方案
依托数据资源平台中管理的大量元数据，确保解决方案的完整性、一致性和可用性。根据数据血缘关系和不同的创建方式，自动选择关联的数据资产，保证解决方案的完整性。同时，通过自动检测待生成的解决方案中是否存在异常（如表一致性、数据...
功能简介
依托数据资源平台中管理的大量元数据，确保解决方案的完整性、一致性和可用性。根据数据血缘关系和不同的创建方式，自动选择关联的数据资产，保证解决方案的完整性。同时，通过自动检测待生成的解决方案中是否存在异常（如表一致性、数据...
创建集群
参见 数据湖元数据管理 统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中 独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 共享独立RDS元数据库 设置高级信息。高级信息包括如下两方面：Spark设置 参数 ...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
Spark UDF
说明 数据湖元数据管理不支持针对UDF的Alter语法，如果需要修改元数据的一些配置，请DROP对应的UDF后重新创建。使用UDF 实现UDF。初始化一个Maven管理工程，并在依赖中加入如下代码：<dependency><groupId>org.apache.hive</groupId>...
产品简介
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
HTTP API 概览
几乎所有 TSDB 的特性都可以通过 API 来访问，比如查询时间序列数据、管理元数据和存储数据点。TSDB 的 HTTP API 本质上是 RESTful 的，同时也提供了替代访问策略，因为不是所有 client 都可以遵循严格的 REST 协议。默认数据交换是通过 ...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。...在物联网架构中，表格存储 作为IoT基础设施中的统一数据存储平台来存储物联网平台相关的时序数据、元数据、消息数据等，并提供丰富的数据分析处理能力。
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
查询Schema详情
您可以在Schema详情页面管理表，例如...单击左侧导航栏的 数据湖管理>元数据管理。单击目标Schema单击右侧的 详细信息，您可以进行以下操作。返回：返回Schema列表。schema搜索：支持模糊搜索表名。查询：跳转至SQL执行页面。删除：删除表。
1.1.5版本
2）支持通过API接口授权外部系统对区行平台主数据元数据进行增删改查 3）新增基于不同行业属性的主数据元数据运营期模板 4）基于定时更新和立即更新的不同策略，从行业平台集中对企业级平台主数据元数据进行更新 5）支持从行业平台集中访问...
控制台发布记录
V1.7.0版本 发布日期 2024年01月11日 功能更新 功能分类 功能更新说明 存算分离场景 元数据管理新增支持数据库、表、分区、缓存显示功能。Query Profile中新增缓存命中分析指标。数据湖分析场景 元数据管理支持显示External Catalog的外部...
什么是OSS-HDFS服务
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...
OSS-HDFS元数据管理费用
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 计费...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤一：创建数据湖的元数据库 登录 数据湖管理控制台，在页面上方选择地域，在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...
元数据采集
在数据地图中开启元数据采集后，系统将一次性全量采集存量的元数据，同时每天采集增量的元数据，并汇集至数据地图，方便您进行数据总览、分类分组管理数据表、查看数据血缘关系等操作。说明 如果系统默认配置的采集计划不适用，支持您修改...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
0037-00000002
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
数据湖元数据管理
横向使用多种大数据计算引擎，例如Databricks 数据洞察、MaxCompute、EMR等，元数据可以集中管理。多个Databricks 数据洞察集群，可以统一管理元数据。创建集群 创建Databricks 数据洞察集群时，如图 元数据选择 为 数据湖元数据 方式，...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
概述
为了满足用户对文件元数据的采集、分析、查询等需求，智能媒体管理IMM推出了元数据管理功能。本文介绍元数据管理的应用场景、使用流程等。功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在...
通过元数据发现导入至湖仓版
但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动探索OSS文件字段、自动感知字段变化的能力，能够自动创建和更新数据湖元数据。您可以...
CloseMetaQuery
调用 CloseMetaQuery 接口关闭存储空间（Bucket）的元数据管理功能。关闭元数据管理功能后，OSS会自动删除Bucket的元数据索引库，您将无法进行元数据索引。注意事项 要关闭Bucket的元数据管理功能，您必须有 oss:CloseMetaQuery 权限。具体...
方案背景
本文主要为您介绍搭建海量智能元数据管理系统的技术点以及使用表格存储搭建智能元数据管理系统的方案。用户存储海量的文档、媒体文件等数据的同时，对文件元数据（Meta）的管理不可或缺。元数据拥有多维度的字段信息，基本信息包含文件大小...
共享集群（OSS数据湖加速）
进一步扩展了数据湖加速的服务能力和边界，使Hologres可以与Hadoop生态计算引擎无缝集成，加速读写存储于HDFS上的数据，大幅提升Hadoop生态数据实时分析的效率，更好地满足大数据和AI等领域的数据湖联邦、实时分析诉求。Hologres从V2.1.6...
云存储网关软件版公测
云存储网关软件版和ossfs对比 和ossfs相比，云存储网关软件版稳定性更好并且功能也更丰富，在元数据管理和数据同步机制等多方面均有所优化。以KV数据库缓存目录结构等元数据信息，使您执行 ls 命令等元数据操作更为高效。以切片的方式高效...
表格存储
表格存储可以帮助您实现高效的元数据管理。消息数据 表格存储自研的Timeline模型主要用于消息数据，能够抽象出支撑海量Topic的轻量级消息队列，可以存储大量社交信息，包括IM聊天，以及评论、跟帖和点赞等Feed流信息。目前表格存储Timeline...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
设置访问控制
数据管理DMS的元数据访问控制功能是指在DMS中对数据库、实例的查看与访问权限进行控制的功能。本文将介绍在DMS中开启实例访问控制与数据库访问控制的方法。前提条件 数据库实例的管控模式为安全协同模式。背景信息 开启访问控制功能可实现...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
在左侧导航栏，选择 元数据>元数据管理，单击 数据表。在 数据表 页面，通过库名过滤，可以查看已创建的表信息。步骤二：DataFlow集群连接DLF读取Hive全量数据 通过SSH方式登录DataFlow集群，详情请参见 登录集群。执行以下命令启动Yarn ...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
- 产品推荐
- 这些文档可能帮助您