阿里云OSS-HDFS服务(JindoFS服务元数据导出使用...

本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能,您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS,格式为JSON文件,方便您对元数据进行统计分析。元数据导出说明 配置Jindo命令行工具,应配置对应OSS-HDFS...

GetSpMetadata-获取服务提供商元数据

获取基于SAML 2.0的服务提供商SP(Service Provider)的元数据。接口说明 该接口仅支持 AD 工作区和便捷工作区,不支持 RAM 目录。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer...

如何修改OSS服务的Object元数据信息

概述 本文主要介绍如何修改OSS服务的Object元数据信息。详细描述 OSS的Object包括很多元数据,如Key值、目录、名称,HTTP头部信息和user自定义元数据。您在上传Object或者在后续使用的过程中可能需要修改对应的数据。可参考如下两种解决...

Spark SQL

Spark访问数据元数据服务 Spark引擎可以支持多种元数据服务,既支持访问用户自建的 Hive,也支持访问DLA统一管理的数据湖元数据。DLA统一管理的数据湖元数据管理服务,同时支持多种引擎访问,实现多种引擎的元数据信息共享。在数据...

实例元数据

ECS实例元数据是指在ECS实例内部通过访问元数据服务(Metadata Service)获取的实例属性等信息,如实例ID、VPC信息、网卡信息。通过元数据服务,您无需登录控制台或调用API,在实例内部即可访问实例信息,可以更便捷、安全地配置或管理正在...

获取实例元数据时提示500错误

查看该实例有绑定弹性网卡,默认路由通过eth1网卡出去,导致元数据服务端不认,返回500错误。解决方案 本文提供以下两种解决方案。执行如下命令,直接指定eth0网卡发送curl请求。curl-interface eth0 100.100.100.200/latest/meta-data ...

租户级别Information Schema

本文为您介绍MaxCompute的租户级别元数据服务Information Schema的功能介绍、使用限制、注意事项、元数据视图列表以及RAM用户访问授权操作等。背景信息 MaxCompute的Information Schema提供了项目元数据及使用历史数据等信息。在ANSI SQL-...

Mesh 对接 Nacos 解决方案

实现方案 Nacos 端暴露 REST 接口,提供对应用元数据服务元数据服务详情的查询功能。dsrconsole 展示服务目录相关数据时,直接调用 Nacos 提供的接口去查询。实现链路如下:目前,业务应用是由 MOSN 进行代理注册的,所以整个方案的...

EMR元数据迁移公告

迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务,为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队发现部分用户在EMR集群上,仍然使用本地MySQL和统一meta数据库(旧版功能)作为生产环境的Hive元数据存储。我们...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Tablestore(OTS)或者Raft...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Tablestore(OTS)或者Raft...

Iceberg数据

不同元数据服务的配置方法如下:Hive MetaStore 属性 是否必选 说明 type 是 数据源类型,取值为 iceberg。iceberg.catalog.type 是 Iceberg中Catalog的类型。使用Hive MetaStore则设置该参数为 HIVE。iceberg.catalog.hive.metastore.uris...

使用Tablestore作为存储后端

JindoFS元数据服务支持不同的存储后端,本文介绍使用Tablestore(OTS)作为元数据后端时需要进行的配置。前提条件 已创建EMR集群。详情请参见 创建集群。已创建Tablestore实例,推荐使用高性能实例。详情请参见 创建实例。说明 需要开启...

使用Tablestore作为存储后端

JindoFS元数据服务支持不同的存储后端,本文介绍使用Tablestore(OTS)作为元数据后端时需要进行的配置。前提条件 已创建EMR集群。详情请参见 创建集群。已创建Tablestore实例,推荐使用高性能实例。详情请参见 创建实例。说明 需要开启...

SmartData 2.6.0-2.7.2版本简介

元数据服务后端存储方案升级 在原有RocksDB方案的基础上,新版本推出了Tablestore和Raft的后端存储方案,实现元数据上云。针对使用Cache模式且对于元数据存储以及HA没有高要求的场景,默认的RocksDB是一种简单、实用而且高效的方案。...

CatalogSettings

名称 类型 描述 示例值 object 数据湖相关配置 Config object 配置 string 数据湖权限配置,auth.permission.check.enable 表示是否开启元数据服务端鉴权,开启后通过 API 访问元数据将被鉴权,auth.super.principal 表示设置超级用户,超级...

GetServiceMethodPage-查询微服务方法列表

调用GetServiceMethodPage接口获取服务接口元数据列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 ...

通过ECS实例RAM角色授权ECS访问其他云资源

基于实例RAM角色获取临时访问凭证 方式一:在SDK中通过Credentials工具获取 Credentials工具会自动获取ECS实例绑定的实例RAM角色,并调用ECS的元数据服务(Meta Data Server)获取临时访问凭证,该凭证会周期性更新。重要 通过Credentials...

Delta Lake数据

不同元数据服务的配置方法如下:Hive MetaStore 属性 是否必选 说明 type 是 数据源类型,取值为 deltalake。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>,端口号默认为9083。DLF 使用DLF查看数据源,...

Hive数据

不同元数据服务的配置方法如下:Hive MetaStore 属性 是否必选 说明 type 是 数据源类型,取值为 hive。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>,端口号默认为9083。DLF 使用DLF查看数据源,详情...

Hudi数据

不同元数据服务的配置方法如下:Hive MetaStore 属性 是否必选 说明 type 是 数据源类型,取值为 hudi。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>,端口号默认为9083。DLF 使用DLF查看数据源,详情...

查询服务

服务元数据:包含服务的元数据,还包含MSE提供的一些用于使用微服务能力的元数据。Dubbo的服务详情如下所示。基本信息:包含 服务名称、版本、分组、服务类型 和 应用名。服务调用关系:包含 服务提供者 和 服务消费者 列表及其 IP、端口、...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

使用RocksDB作为元数据后端

JindoFS元数据服务支持不同的存储后端,默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用,推荐配置Raft作为元数据后端,详情请...

EMR+DLF数据湖解决方案

采用EMR+DLF数据湖解决方案,相对传统EMR数据湖方案有下列优点:DLF提供数据湖跨引擎的统一的,全托管免运维的元数据服务。支持可视化的元数据管理,以及多版本管理和回退。支持可视化一键元数据迁移。支持元数据全文检索。支持元数据...

EMR元数据迁移到数据湖构建(DLF)

本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中,并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群(MySQL做元数据),整体...

约束和限制

目录下面采样最新和最老的文件,每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式,不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...

一站式分析体验

湖仓版(3.0)数据通过统一的元数据服务进行管理,避免了元数据同步带来的低效、不一致等问题,让湖和仓的联动更加敏捷。而且数据访问格式也统一成Arrow开源数据格式,便于对接更加多样的计算引擎,极大地增强了 湖仓版(3.0)的开放能力。...

EMR元数据迁移DLF最佳实践

通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖...

DescribeAppServiceDetail

调用DescribeAppServiceDetail接口获取应用服务元数据详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头,无特殊请求头...

MaxCompute湖仓一体概述

当MaxCompute与Hadoop平台所在的VPC区域网络开通后,MaxCompute可以直接访问Hive元数据服务,并将元数据信息映射到MaxCompute的外部项目(External Project)中。使用限制 仅华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)...

使用Raft-RocksDB-Tablestore作为存储后端

JindoFS在EMR-3.27.0及之后版本中支持使用Raft-RocksDB-OTS作为Jindo元数据服务(Namespace Service)的存储。1个EMR JindoFS集群创建3个Master节点组成1个Raft实例,实例的每个Peer节点使用本地RocksDB存储元数据信息。前提条件 创建...

使用Raft-RocksDB-Tablestore作为存储后端

JindoFS在EMR-3.27.0及之后版本中支持使用Raft-RocksDB-OTS作为Jindo元数据服务(Namespace Service)的存储。1个EMR JindoFS集群创建3个Master节点组成1个Raft实例,实例的每个Peer节点使用本地RocksDB存储元数据信息。前提条件 创建...

使用Raft-RocksDB-Tablestore作为存储后端

JindoFS在EMR-3.27.0及之后版本中支持使用Raft-RocksDB-OTS作为Jindo元数据服务(Namespace Service)的存储。1个EMR JindoFS集群创建3个Master节点组成1个Raft实例,实例的每个Peer节点使用本地RocksDB存储元数据信息。前提条件 创建...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库自治服务 云数据库 RDS 数据库备份 DBS 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用