镜像构建并且推送到镜像仓库
通过流水线的内置镜像构建任务模板，可以实现镜像的构建并自动推送到ACR镜像仓库。流水线执行环境分为默认执行环境和专有执行环境两种模式。本文分别介绍如何在默认执行环境下和专有执行环境下构建镜像，以及如何使用镜像构建和部署进行...
镜像构建并且推送到镜像仓库
通过流水线的内置镜像构建任务模板，可以实现镜像的构建并自动推送到ACR镜像仓库。流水线执行环境分为默认执行环境和专有执行环境两种模式。本文分别介绍如何在默认执行环境下和专有执行环境下构建镜像，以及如何使用镜像构建和部署进行...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
角色管理
本文档主要为您说明如何管理数据湖构建中的角色。说明 子账号需要具备admin（数据湖管理员）或 super_administrator（超级管理员）的权限，才可以进行角色相关操作。查看角色信息 1.打开 数据湖构建控制台，并打开数据权限管理-角色菜单。2...
用户管理
本文档主要为您说明如何管理数据湖构建中已添加的用户。查看用户列表 1.打开 数据湖构建控制台，并打开数据权限管理-用户菜单。2.打开用户列表信息页面。说明 此处管理的用户为添加到数据湖构建中的用户，目前仅支持添加RAM用户到数据湖...
服务等级协议
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。前提条件 注册阿里云账号，并完成 实名认证。创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL和PolarDB作为数据来源。您需要输入RDS MySQL连接的用户名和密码。...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
入湖基础操作
数据湖构建（Data Lake Formation，简称DLF）支持多种入湖任务类型用于快速构建数据湖，通过入湖任务，您可以定义数据入湖的方式和所消耗的资源。本文为您介绍入湖任务的基础操作。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
授权信息
本文为您介绍 数据湖构建（DataLake）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。数据湖构建（DataLake）的RAM代码（RamCode）为 dlf,dlf-dss，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持...
新增授权
DLF角色：指在数据湖构建（DLF）中定义的角色，关于角色的管理，可以在 数据湖构建控制台 进行配置。2.主体选择：可以选择一个或多个RAM用户/角色或DLF角色。选择授权资源 授权方式：目前仅支持资源授权，资源授权指对数据目录、数据库、...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
权限设置
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单：数据权限-权限设置 在数据目录（Catalog）的右侧，如数据目录处于关闭状态，点击“开启”操作，将会提示确认开启弹出框，确认后，完成权限开启。关闭权限 打开 数据构建控制台 依次...
存储概览
数据湖构建DLF后续还将推出生命周期管理功能，帮助您对湖内数据进行自动归档。目前功能开发中。存储格式分布 统计表的存储格式分布情况。大小文件分布和排名 统计大小文件分布及排名情况，根据业务情况，针对小文件较多的表进行优化，提高...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
湖格式管理
操作步骤 查看优化策略 打开数据湖构建控制台 点击菜单湖管理-湖格式管理 查看优化策略列表，如下图所示 设置优化策略阈值 在优化策略列表页，点击设置阈值，可以为策略设置执行的阈值，满足阈值后，将会自动执行优化策略。禁用优化策略 在...
DLF中数据入湖功能停止更新公告
数据湖构建（DLF）产品的数据入湖功能已于2023年02月15日停止更新，但会持续运维已有数据入湖作业。为了确保您业务连续性，建议您采用其他方式进行数据入湖，推荐使用 数据集成概述 或 Flink CDC：如 MySQL CDC DataStream Connector。停止...
生命周期管理介绍
费用说明 使用生命周期管理功能，涉及两部分费用，如下：数据湖构建（DLF）产品的生命周期管理功能，目前公测中，当前阶段免费。OSS生命周期费用说明，请参考 生命周期费用说明 注意事项 如果数据被转为归档、冷归档的数据将无法被计算引擎...
Flink VVP+DLF数据入湖与分析实践
数据湖构建（DLF）可以结合阿里云实时计算Flink版（Flink VVP），以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
构建镜像
镜像构建提供将应用的源代码编译成镜像的服务能力。镜像成功构建后，默认会推送至 LHC 默认的镜像中心。创建构建 本部分介绍如何通过单元化应用服务控制台完成镜像构建操作。前提条件 已创建应用。操作步骤 登录控制台，在左侧导航栏单击 ...
镜像构建
镜像构建提供将应用的源代码编译成镜像的服务能力。创建构建后，系统会自动在 ACR 镜像中心上创建出以应用名为仓库名称的镜像仓库。镜像成功构建后，会自动推送到该镜像仓库。创建构建 本部分介绍如何通过容器应用服务控制台完成镜像构建...
常见问题
云构建访问内网仓库网络问题 云构建下载慢，构建慢的优化处理方法 Android问题 Android端使用云构建打包编译出现“下载google资源超时”问题 云构建缓存失败或者构建时间长 云构建apk下载地址URL iOS问题 云构建构建Flutter_iOS项目 云构建...
权限说明
本文主要介绍数据湖构建（DLF）的权限体系说明，介绍如何为子账号授予合适的权限，以使其可以正确的使用和访问DLF的功能。数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都...
使用企业版实例构建镜像
构建镜像示例一：基于固定分支main构建镜像（支持手动立即构建）基于固定分支main构建镜像的规则参数配置示例如下：类型：Branch Branch/Tag：main 构建上下文目录：/Dockerfile文件名：Dockerfile 镜像版本：latest 当main分支上源代码...
使用企业版实例构建镜像
构建镜像示例一：基于固定分支main构建镜像（支持手动立即构建）基于固定分支main构建镜像的规则参数配置示例如下：类型：Branch Branch/Tag：main 构建上下文目录：/Dockerfile文件名：Dockerfile 镜像版本：latest 当main分支上源代码...
快速使用TPC-DS测试数据集
操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在左侧点击 创建数据集-开始创建TPC-DS数据集 按钮。点击后，会自动执行一系列初始化SQL：在您的元数据中创建名为sampledata_tpcds_3g的库，并在库中创建24个TPC-DS的数据表。...
构建仓库与镜像
使用说明 说明 如果您对构建性能有要求，需要使用灵活构建配置、自定义构建参数、多架构构建等功能，建议您使用企业版实例构建镜像。具体操作，请参见 使用企业版实例构建镜像。使用个人版实例构建镜像前，您需要确保Dockerfile文件中的...
使用数据探索查询Iceberg表
操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的元数据库和表之前，加上dlf_catalog.前缀。例如：SELECT*FROM dlf_catalog.database_name.iceberg_table limit 100...
- 产品推荐
- 这些文档可能帮助您