搭建与管理（基于DLF和OSS）
通过MaxCompute与DLF和OSS的组合，可以实现数据仓库和数据湖的一体化，提供更加灵活和高效的数据处理能力。本文为您介绍如何通过MaxCompute、DLF和OSS构建湖仓一体，以及湖仓一体项目的管理。前提条件 当您通过MaxCompute与DLF和OSS构建湖...
通过元数据发现导入至湖仓版
在 元数据发现 页面的OSS数据源区域，单击 进入向导。在 OSS数据源 页签，根据页面提示进行参数配置，配置说明如下：配置项 参数 说明 数据源配置 数仓模式 为“基于OSS而构建的标准数据仓库”的场景构建自动化元数据发现，识别精度高。...
数据湖加速查询
Hologres联合DLF、OSS推出湖仓一体架构的数据湖加速服务，助力企业实现海量数据的低成本存储、统一的元数据管理和高效的数据分析和洞察。Hologres通过与DLF、OSS无缝集成，以外部表的方式，无需移动数据（外表只做字段映射，不真正存储数据...
Hive统一元数据
使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群 支持以下两种...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。前提条件 已开通OSS服务，并准备测试数据。在 OSS管理控制台 创建存储空间（Bucket），详情请参见 OSS控制台快速入门。下载 湖仓一体测试数据 测试数据，解压后上传至已...
采集管理概述
管理应用内全部业务埋点的元数据，提供按照业务方案分类管理页面埋点元数据的能力，并可以集中管理参数和公共事件。埋点验证：包含 App 验证、Web 验证、小程序验证 功能模块。用户可以通过平台提供的测试工具，在app或网站上进行操作可以...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
元数据中心
元数据的本质就是用来管理各个实体以及各个实体之间的关联关系，RMS 的元数据中心支持多种方式对接元数据信息：支持对接第三方 CMDB 系统来接入元数据。支持对接 SPI 接口的方式对接客户的发布平台接入元数据。支持对接客户的 kubeconfig，...
单点登录（SSO）常见问题
在云SSO的单点登录配置中下载旧的元数据文件，在元数据文件中的 KeyDescriptor 的部分，复制 X509Certificate 原证书信息，粘贴到新的元数据文件中相同位置，然后保存。云SSO的单点登录配置中上传新的元数据文件。在IdP单点登录配置中激活...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
JindoFS缓存模式
概述 缓存模式兼容现有OSS存储方式，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能，Cache模式提供不同元数据同步策略以满足您在不同场景下的需求。...
访问ECS实例元数据时强制使用加固模式
访问ECS实例的元数据时强制使用加固模式，视为“合规”。应用场景 访问ECS实例元数据时支持普通模式和加固模式。在加固模式下，ECS实例基于Token鉴权访问实例元数据。加固模式相比普通模式，对SSRF攻击有更好的防范效果。风险等级 默认风险...
管理元数据
指标配置 数据表名称 选择存储元数据的数据表。重要 选择的数据表中必须包含对象ID，例如表ID、任务ID等，否则创建元数据时校验不通过。一个数据表只能创建一个元数据。数据对象 数据对象即治理项，包括 物理表、逻辑表 和 任务节点。指标...
管理元数据
指标配置 数据表名称 选择存储元数据的数据表。重要 选择的数据表中必须包含对象ID，例如表ID、任务ID等，否则创建元数据时校验不通过。一个数据表只能创建一个元数据。数据对象 数据对象即治理项，包括 物理表、逻辑表 和 任务节点。指标...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
文件元数据离线分析
在Hive中创建对应的元信息以供查询，您可以参考下面的格式在Hive中创建文件系统元信息对应表的Schema。CREATE EXTERNAL TABLE `table_name`(`type` string,`id` string,`parentId` string,`name` string,`size` bigint,`permission` int,`...
获取文件元数据
默认情况下，在已开启版本控制的存储空间（Bucket）中调用HeadObject接口只能获取文件（Object）当前版本的元数据。通过指定文件的版本ID（versionId），...相关文档 关于获取文件元数据的API接口说明，请参见 HeadObject 和 GetObjectMeta。
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
Hive数据源
通过让FE节点定时读取HMS的notification event来感知Hive表元数据的变更情况，目前支持处理如下event：事件 事件行为和对应的动作 CREATE DATABASE 在对应数据目录下创建数据库。DROP DATABASE 在对应数据目录下删除数据库。ALTER DATABASE...
修改已有文件的元数据
filename="xxxxxx"','x-oss-meta-location'=>'location',/指定设置目标Object元数据的方式，此处以指定为'REPLACE'为例，表示忽略源Object的元数据，直接采用请求中指定的元数据。若设置为COPY，表示复制源Object的元数据到目标Object。'x-...
ST_SetMetaData
设置栅格对象或波段的元数据项。语法 raster ST_SetMetaData(raster raster_obj,text key,text value);raster ST_MetaData(raster raster_obj,integer band,text key,text value);参数 参数名称 描述 raster_obj 需要计算的raster对象。...
ST_SetMetaData
设置栅格对象或波段的元数据项。语法 raster ST_SetMetaData(raster raster_obj,text key,text value);raster ST_MetaData(raster raster_obj,integer band,text key,text value);参数 参数名称 描述 raster_obj 需要计算的raster对象。...
ST_SetMetaData
设置栅格对象或波段的元数据项。语法 raster ST_SetMetaData(raster raster_obj,text key,text value);raster ST_MetaData(raster raster_obj,integer band,text key,text value);参数 参数名称 描述 raster_obj 需要计算的raster对象。...
0011-00000002
问题描述 x-oss-meta-开头的用户元数据超出大小限制。问题原因 以PutObject作为例子，使用PutObject接口时，如果配置以 x-oss-meta-*为前缀的参数，则该参数视为元数据，例如 x-oss-meta-location。一个Object可以有多个类似的参数，但所有...
ST_SetMetaData
设置栅格对象或波段的元数据项。语法 raster ST_SetMetaData(raster raster_obj,text key,text value);raster ST_MetaData(raster raster_obj,integer band,text key,text value);参数 参数名称 描述 raster_obj 需要计算的raster对象。...
基本概念
数据集 数据集是由元数据所组成的集合，是智能媒体管理存放元数据的容器。例如开发者开发网盘APP时，文件存储在OSS或PDS中，在IMM中创建数据集，将用户上传的文件OSS或PDS地址提交给IMM进行索引，IMM会自动解析文件的基础信息，对图片、...
表操作
Timestream数据存储包含元数据表和数据表。数据表可以有多个，您可以根据自身的场景需求将数据写入到不同的表中，例如按数据精度分表。元数据表只能有一个，所有数据表的元数据信息全部记录到同一张表中。Timestream提供了元数据表和数据表...
获取文件元数据
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。说明 如果Object的当前版本为删除标记，则...} 相关文档 关于获取文件元数据的API接口说明，请参见 GetObjectMeta 和 HeadObject。
0024-00000505
问题描述 元数据转换任务数量超过了上限。问题原因 您创建的元数据转换任务数量超过了上限。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查任务是否超过上限，删除不使用的多余任务后重试。相关文档 OSS-HDFS...
落标监控概述
落标监控 落标监控是基于数据标准对映射到的对象进行的监控，可分为 元数据监控 和 内容质量监控：元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。内容监控是指针对标准映射到的资产对象（如字段、指标），评估其具体...
UpdateDatabase-更新元数据库信息
更新数据湖元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
产品架构
智能媒体管理围绕海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理六个关键点采用分层架构进行设计，分层架构包含处理引擎、元数据管理、场景化封装三层。智能媒体管理采用分层架构进行设计，分层架构包含处理引擎、元数据管理...
0024-00000506
问题描述 元数据转换任务中，Path数量超过了上限。问题原因 您创建的元数据转换任务中，Path数量超过了上限。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查Path是否超过上限，删除多余的Path任务后重试。相关...
- 产品推荐
- 这些文档可能帮助您