为Spark集群设置元数据
横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 人工智能平台 PAI 等。多个EMR集群时，可以统一管理元数据。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 步骤一：创建集群。使用...
通过元数据文件迁移上云
Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群元数据备份。元数据迁移是指将自建Kafka集群的元数据迁移到阿里云 云消息队列 Kafka 版 实例。您可以将自建Kafka集群元数据导出，然后导入 云消息...
元数据导入
Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群元数据备份。元数据迁移是指将自建Kafka集群的元数据迁移到 云消息队列 Kafka 版 实例。您可以将自建Kafka集群元数据导出，然后导入 云消息队列 ...
时序数据生命周期
当调大TTL时，如果系统还未删除在旧的TTL之外以前的时序表数据，且对应时序表数据在新设的TTL中，则对应时序表数据可以重新查询。时间线元数据生命周期 时间线元数据生命周期是时间线元数据表的一个属性，即时间线元数据的保存时间，单位为...
迁移自建Kafka集群至新实例
Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群元数据备份。元数据迁移是指将自建Kafka集群的元数据迁移到阿里云 云消息队列 Kafka 版 实例。您可以将自建Kafka集群元数据导出，然后导入 云消息...
自定义OSS文件下载时的文件名
使用场景 长期文件共享：当文件需要被多次下载，并且每次下载都希望显示相同文件名时，通过修改文件元数据可以实现这一目标。文档库或资源中心：在企业的文档库或公共资源中心中，您可能希望所有文件都具有固定的、描述性的文件名，方便...
在容器内获取元数据
ECI Pod（即ECI实例）的元数据可以提供关于Pod及其容器的信息用于管理和使用容器，例如名称、ID等基本信息，以及IP地址、网卡等网络信息等。本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过...
在容器内获取元数据
ECI Pod（即ECI实例）的元数据可以提供关于Pod及其容器的信息用于管理和使用容器，例如名称、ID等基本信息，以及IP地址、网卡等网络信息等。本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过...
Maxwell
可用的元数据 下面的格式元数据可以在DDL语句中声明为只读（VIRTUAL）列。重要 格式元数据字段只有在相应的连接器转发格式元数据时才可用。目前，只有Kafka连接器能够声明其值格式的元数据字段。键 数据类型 说明 database STRING NULL ...
对云上应用进行动态身份管理与授权
若在Linux系统中，通过实例元数据可以获取临时安全令牌及过期时间等信息。请参见 使用实例RAM角色访问其他云产品。请求示例 curl http://100.100.100.200/latest/meta-data/ram/security-credentials/MyApplicationRole 返回示例 {...
Canal
其他使用说明 可用的元数据 下面的格式元数据可以在DDL语句中声明为只读（VIRTUAL）列。重要 格式元数据字段只有在相应的连接器转发格式元数据时才可用。目前，只有Kafka连接器能够声明其值格式的元数据字段。键 数据类型 说明 database ...
建立元数据索引
这些元数据可以包括但不限于媒体文件的标题、作者、关键词、描述、创建日期、大小、格式、分辨率等信息。通过建立元数据索引，用户可以方便地通过关键词、属性或其他标识快速地检索、筛选和管理大量的媒体文件，使媒体资源的利用更加高效和...
Debezium
其他使用说明 可用的元数据 以下格式元数据可以在DDL语句中声明为只读（VIRTUAL）列。重要 只有当相应的连接器转发格式元数据时，格式元数据字段才可用。目前，只有Kafka连接器能够声明其值格式的元数据字段。键 数据类型 说明 schema ...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
管理数据树
若当前数据为栅格数据，您还可以做以下操作。查看栅格元数据：在数据表 操作 栏单击 图标，查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
JindoFS介绍和使用
A：Block模式可以管理文件元数据和组织文件数据，因此可以不局限于OSS对象存储，完全可以满足各种大数据引擎对存储接口的需求。这些接口包括但不限于Rename的原子性和事务性能力、高性能本地写入、透明压缩、truncate、append、flush、sync...
Hive统一元数据
使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群 支持以下两种...
DLF+EMR之统一权限最佳实践
DLF Catalog：DLF数据目录（DLF），DLF元数据体系的最上层实体，可以包括数据库，数据表等元数据信息。详见 数据目录。DLF 数据权限：DLF所提供的数据湖的数据权限体系，支持配置数据库、数据表、数据列、函数四种维度细粒度权限控制。详见...
Hive元数据说明
内置MySQL在多集群部署架构图 元数据类型优势 内置MySQL和自建RDS的区别 自建RDS更直观的好处是元数据可以在多个集群间共享。从可用性、可靠性和性能等方面对比，自建RDS要优于内置MySQL，详情请参见 RDS与自建数据库对比优势。DLF统一...
数据湖加速查询
Hologres通过与DLF、OSS无缝集成，以外部表的方式，无需移动数据（外表只做字段映射，不真正存储数据），就能直接加速读写存储于OSS上的Hudi、Delta、Paimon、ORC、Parquet、CSV、SequenceFile等格式类型的数据，降低开发运维成本，打破...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
QueryContent-查询文档内容
用自然语句从指定文档库检索向量和元数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
常见问题（FAQ）
说明 详情请参考Databricks官网文章：常见问题 什么是 Delta Lake?Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且...
常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
常见问题
如果元数据正常，但查询一个有数据的表的结果为空，需要先检查您是否有数据访问权限。如果数据所在的HDFS开启了proxyuser，Trino也需要开启 hive.hdfs.impersonation.enabled 配置。如果开启了Ranger，请确认Ranger权限配置是否正确。如果...
新功能发布记录
录入对象存储OSS 10月 功能名称 变更类型 功能描述 相关文档 升级并商业化敏感数据保护功能 迭代 敏感数据保护功能可以对数据库元数据进行扫描，识别、脱敏和管理敏感数据。敏感数据保护概览 09月 功能名称 变更类型 功能描述 相关文档 ...
宽表模型介绍
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
元数据抽取
元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据湖分析计算shema on read目标。使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、...
将自建ClickHouse数据迁移到云ClickHouse中
其次是数据迁移，您可以选择使用ClickHouse的 remote 函数直接迁移数据，或者将数据导出并在云数据库ClickHouse导入完成迁移。自建实例与目标实例的网络关系 迁移方法 自建实例部署在阿里云ECS中，且该ECS与云数据库ClickHouse为同一个VPC...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
计费模式
发起元数据请求可以通过数据湖构建对接的计算引擎（例如EMR的Hive、SparkSQL、Presto，以及MaxCompute）中执行DDL语句，也可以通过数据湖构建产品控制台或者在API中操作元数据对象。计费规则，每月前100万个请求免费。每月请求超过100万后...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
管理文件元数据
bucket.update_object_meta(object_name,{'Content-Type':'text/plain'})获取文件元数据 您可以通过SDK提供的方法获取文件元数据。方法 描述 优势 get_object_meta 获取文件的ETag、Content-Length、LastModified（最后修改时间）。更轻量...
数据索引
数据索引是OSS对外提供的文件（Object）元数据索引能力。您可以利用Object的元数据自定义索引的条件，从而快速获取Object列表。数据索引可以帮助您更好地管理与了解数据结构，方便您后续查询、统计和管理Object。使用场景 基于数据审计或者...
管理文件元数据
try { using(var fs=File.Open(localFilename,FileMode.Open)){/创建上传文件的元数据，可以通过文件元数据设置HTTP header。var metadata=new ObjectMetadata(){/指定文件类型。ContentType="text/html",/设置缓存过期时间，格式是...
管理文件元数据
} 获取文件元数据 您可以通过以下两种方法获取文件元数据：方法 描述 优势 GetObjectMeta 获取文件的ETag、Size（文件大小）、LastModified（最后修改时间）。更轻量、更快 HeadObject 获取文件的全部元数据。无 以下代码用于获取文件...
- 产品推荐
- 这些文档可能帮助您