External Catalog
不同元数据服务的配置方法如下：使用Hive Metastore元数据配置项如下。参数 是否必选 说明 type 是 数据源类型，取值为hive、hudi或deltalake。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:的端口号>。如果有多...
管理服务单元权限
服务单元对数据表进行统一的元数据配置。在您生成API前，需要对数据表进行统一的元数据配置。如果您需要使用他人的服务单元生成API，则需要申请服务单元的使用权限。前提条件 已购买数据服务模块，详情请参见 开通Dataphin。申请服务单元...
基础使用
背景信息 本文以数据湖元数据为例，详细配置请参见 数据湖元数据配置。前提条件 已在E-MapReduce控制台上，创建Hadoop的EMR-5.3.0及后续版本的集群，详情请参见 创建集群。使用限制 由于Iceberg的Spark SQL Extensions不适用于Spark 2.4，...
EMR元数据迁移公告
切换集群元数据配置至DLF元数据。恢复业务任务。阿里云EMR团队+客户 30分钟 三、验证阶段 观察作业运行一周或者更长时间，查看运行结果。如果正常运行，则迁移成功。如果遇到问题，则需要定位分析，可以根据实际情况确定是在线解决还是进入...
元数据管理
配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后，选择 创建元数据表。配置元数据表参数。输入数据表的名称。选择所属数据目录。选择数据目录下的...
关于自定义分析
多维即时自定义分析指基于客户端自定义埋点模型的即时分析，主要包括以下部分：事件元数据配置管理 自定义分析模型 自定义分析模式 前端自定义分析报表 其中：事件元数据配置管理：维护当前 App 需要即时分析的各种指标数据，是分析的基础...
进行角色SSO时阿里云SP的SAML配置
进行角色SSO时，为了建立阿里云对企业IdP的信任，需要将企业IdP元数据配置到阿里云。前提条件 请确保已获取到企业IdP的元数据文档。元数据文档为XML格式，包含IdP的登录服务地址、用于验证签名的公钥及断言格式等信息。操作步骤 使用阿里云...
采集管理概述
Quick Tracking采集管理，旨在通过系统提供采集管理相关功能，助力客户高效构建自己业务网站&APP&小程序的流量采集埋点体系、开发测试流程和分析元数据。组织应用管理：包含 组织...用户客户通过分析元数据，管理分析相关的元数据配置信息。
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
新建ArgoDB数据源
配置 元数据库配置 区域的参数。参数 描述 元数据获取方式 支持从元数据库直接获取和HMS获取方式。使用HMS需上传hive-site.xml配置文件。认证方式支持无认证、LDAP、Kerberos。Kerberos认证方式还需上传Keytab File及配置Principal。数据库...
Hive访问Iceberg数据
说明 示例中 dlf_catalog 为您创建的Catalog名称，warehouse配置使用阿里云对象存储OSS路径，其余参数含义请参见 数据湖元数据配置。创建Iceberg表。EMR-3.39.0及后续版本和EMR-5.5.0及后续版本，使用内表的方式创建Iceberg表。create ...
华为云 SSO
在 元数据配置 点击添加文件，选择在步骤二中在 IDaaS 下载的 IdP 元数据，并点击 上传文件，确认元数据配置（一般无需修改）。复制 登录链接，回填到上文第二步中 IDaaS 应用详情中的 初始化登录地址。完成后，点击确定按钮，完成身份提供...
SetExternalSAMLIdentityProvider-配置SAML身份提供商...
元数据文档：通过 EncodedMetadataDocument 参数配置元数据文档。手动配置：通过 EntityId、LoginUrl、WantRequestSigned 和 X509Certificate 参数手动配置 IdP 信息。如果已经配置过 SAML IdP 信息，则调用本 API 会替换已有的配置信息。...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
迁移上云操作
注意事项 云消息队列 RocketMQ 版 迁移工具按照最小范围粒度仅访问源自建集群如下信息：Topic元数据配置信息 Group元数据配置信息 Topic动态路由注册信息 消费者连接信息及消费堆积信息 不会访问源集群其他信息，也不会对源自建集群的配置...
使用独立的Trino集群
数据湖元数据配置的详细信息如下表。参数 描述 备注 hive.metastore MetaStore类型。固定值为DLF。dlf.catalog.id 数据库分类命名空间。需要绑定的DLF数据目录（Catalog），默认值是阿里云账号的账号ID。dlf.catalog.region DLF服务的地...
元数据采集的数据源有白名单访问控制时需要配置的白...
使用限制 目前只支持实例形式配置的数据源，或者连接串形式使用公网地址配置的数据源进行元数据采集，暂不支持通过内网地址配置的数据源进行元数据采集，即 连接串模式 配置数据源的时候暂不支持 JDBC URL 设置为VPC的地址。如果您在元数据...
EMR+DLF数据湖解决方案
步骤六（可选）：使用生命周期对数据湖存储进行合理规划，节省存储成本 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于分区/表创建时间、分区/表最近修改时间、分区值三种规则类型，对数据定期进行OSS存储...
元数据迁移
单击创建迁移任务，开始配置元数据迁移任务。源库配置 元数据库类型：目前仅支持MySQL类型。MySQL类型：Aliyun RDS：阿里云官网提供的RDS，可参考 云数据库RDS MySQL 版。其他MySQL：EMR内置MySQL、自建MySQL或其他MySQL数据库。如果选择为...
新建Paimon数据源
元数据配置 元数据获取方式 支持 元数据库 和 HMS 方式。元数据库方式 数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/...
EMR元数据迁移DLF最佳实践
创建迁移任务 进入数据湖构建控制台，切换到EMR集群所属的区域，选择左侧菜单“元数据管理-元数据迁移”，并单击“创建迁移任务”进行配置迁移任务，如下图 源库配置 元数据库类型：选择MySQL类型即可。MySQL类型：根据Hive元数据类型选择...
在Azure中获取SAML配置说明
在 Azure中 获取SAML的元数据配置文件 单击列表页，选择 Azure Active Directory-企业应用程序，进入企业应用程序页面。新建应用程序。在 浏览Azure AD库 页面，单击 创建你自己的应用程序，自建应用程序。输入应用名称，并选择 集成未在库...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
时序表操作
查询表描述信息 当需要查看时序表的详细配置信息时，您可以调用 DescribeTimeseriesTable 接口查询时序表的配置信息（例如数据生命周期）、表状态或者时间线元数据配置（例如是否允许更新时间线属性列）。删除时序表 调用 ...
管理数据流动任务
系统任务 在配置 元数据自动更新 后，CPFS自动生成的任务，用于将OSS Bucket中更新的文件元数据同步到CPFS。系统任务每隔 自动更新间隔（分钟）时间会自动生成，以同步OSS Bucket中更新的文件元数据。可在控制台的 数据流动>任务管理 面板...
创建多物理表服务单元
多物理表服务单元用于关联多个物理表，并对关联后的字段进行元数据配置。后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的...
Hudi连接器
数据湖元数据配置的详细信息如下表。参数 描述 备注 hive.metastore MetaStore类型。固定值为DLF。dlf.catalog.region DLF服务的地域名。详情请参见 已开通的地域和访问域名。说明 请和 dlf.catalog.endpoint 选择的地域保持一致。dlf....
Spring Cloud Gateway应用路由
例如，配置 {"response-timeout":2000,"connect-timeout":2000}，控制请求超时时间和连接超时时间，在自定义插件中可以获取元数据配置信息。方式二 在 路由管理 页面，单击 使用YAML创建。使用YAML创建时，YAML定义的格式为Spring Cloud ...
修改集群模版
MetaStoreType String 否 local 统一元数据类型，取值如下：local：集群内部元数据 unified：统一元数据 user_rds：用户自建RDS MetaStoreConf String 否 rdsxxx.com 统一元数据配置信息。HostGroup.N.HostGroupId String 否 0 保留字段。...
阿里云上的Salesforce技术迁移数据手册
在尝试执行组织拆分任务时，如果无法确认某些元数据配置是否与中国范围相关，请先选择迁移它们。在迁移过程中，可能会出现增量数据。提前做好应对计划，或者直接联系 Salesforce，在数据迁移过程中启用“只读”模式。务必按特定顺序导入...
使用AD FS进行用户SSO的示例
规划配置数据。云账号的默认域名：secloud.onaliyun.com 。云账号下包含RAM用户：alice，其完整的 UPN（User Principal Name）为 alice@secloud.onaliyun.com 。创建的Microsoft AD中的AD FS服务名称：adfs.secloud.club。创建的Microsoft ...
初始化
所有数据表的时间线元数据写入到同一个元数据表中，您通过TimestreamDBConfiguration配置元数据表的表名。伴随数据的写入，后台默认不断更新时间线的lastUpdateTime，您可以通过设置TimestreamDBConfiguration中的dumpMeta来控制是否需要...
配置变更
注意，此操作只是将 DRM 的元数据配置生效到 SOFAStack DRM 控制台。生效结果展示 各环境的生效结果如下图所示：DRM 配置生命周期 DRM 配置变更与研发流程关联。支持在研发流程中随时提交 DRM 配置变更。所有的配置会保存到数据库中，如果...
身份认证和访问控制
限制节点对实例元数据API的访问 ECS实例元数据概述包含了ECS实例在阿里云系统中的信息，您可以在运行中的实例内方便地查看实例元数据，并基于实例元数据配置或管理实例。实例元数据中能够查询到用户使用的云资源和用户数据等敏感信息，若不...
自定义购买实例
元数据访问模式 实例元数据（metadata）包含了实例在阿里云系统中的信息，您可以在运行中的实例内方便地查看实例元数据，并基于实例元数据配置或管理实例。关于如何查看实例元数据，请参见 实例元数据。自定义数据 实例自定义数据可以作为...
HoloStudio一键迁移至DataStudio
PG管理 HoloStudio中的PG管理会通过DataStudio的 表管理 功能进行替换，但DataStudio表管理中Hologres的元数据来自数据地图的元数据采集器，您需要前往数据地图配置元数据采集器，详情请参见 元数据采集。数据开发迁移 我们会将HoloStudio...
为什么文件签名URL过期后仍可以访问？
如果您希望文件签名URL过期即失效，建议您将文件元数据的配置项Cache-Control设置为 no-cache 或将Expires设置为小于文件签名URL过期时间的值。更多信息，请参见 管理文件元数据。重要 以上配置会导致浏览器不再缓存OSS文件或缓存时间变短...
使用星环TDH作为元仓计算引擎进行元仓初始化
元数据库配置 元数据获取方式 支持元数据库和HMS（Hive Metastore Serivce）方式获取元数据。使用HMS方式获取元数据库，若集群配置认证方式为Kerberos，需上传Keytab File文件和填写Principal。Keytab File：Hive metastore的Kerberos认证...
配置说明
EMR Doctor的基本配置在安装过程中已设置，主要控制集群元数据和任务元数据的采集行为，通常情况下不需要修改和下发配置。本文为您介绍EMR Doctor的基本配置信息以及如何修改基本配置。重要 本文为您列出了EMR Doctor中可以修改的配置。...
落标监控概述
Dataphin的公共系统属性内置了常用的元数据监控，您可以在创建标准集时引用该系统属性，则该标准集下创建的数据标准默认继承系统属性的监控配置，详情请参见：新建和管理公共标准集属性。内容质量监控 基于标准对资产对象添加内容质量监控...
- 产品推荐
- 这些文档可能帮助您