常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
什么是Dataphin
规范定义 建模研发 基于规范定义的数据元素，进行设计与构建可视化的数据模型。数据模型提交发布后，Dataphin自动化地生成代码与调度任务，大大提升了数据研发效率。规范建模 编码研发 基于通用的代码编辑页面，灵活地进行个性化的数据编码...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
构建配置
如果需要，您可以在租户级别进行构建配置，平台支持自定义产物存储 OSS（用于存储构建包）、设置 Maven 仓库、设置镜像中心、上传构建依赖文件。...如果不设置 部署仓库地址，则默认与 构建仓库地址 相同，在镜像仓库列表中显示-。
创建镜像模板并执行构建任务
最终完整的镜像名称由系统自动拼接名称前缀与构建任务ID（ExecutionId），格式为 自定义名称前缀_构建任务ID。当前地域 系统展示ECS控制台当前所在地域。目标地域 如果需要将构建的镜像复制到多个地域，您可以设置目标地域，构建的镜像将会...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
将已有的函数计算工程通过应用中心实现持续部署
步骤一：整理构建命令并确认构建工具版本 整理构建命令 应用中心提供了构建函数所需要的执行环境，但是并没有实现自适应的构建与打包能力。和在本地执行一样，用户在云上执行同样的构建与打包命令即可，其中Windows环境与云上Linux环境不...
将已有的函数计算工程通过应用中心部署实现持续部署
步骤一：整理构建命令并确认构建工具版本 整理构建命令 应用中心提供了构建函数所需要的执行环境，但是并没有实现自适应的构建与打包能力。和在本地执行一样，用户在云上执行同样的构建与打包命令即可，其中Windows环境与云上Linux环境不...
实例级别事件
函数计算 提供实例级别的事件，通过实例级别事件您可以了解函数实例完整的生命周期，包括实例构建、销毁的流程以及其中各步骤发生的时间点。本文介绍函数实例的生命周期以及实例级别事件的定义、转移流程、类型和查询方式。函数实例的生命...
实例级别事件
函数计算 提供实例级别的事件，通过实例级别事件您可以了解函数实例完整的生命周期，包括实例构建、销毁的流程以及其中各步骤发生的时间点。本文介绍函数实例的生命周期以及实例级别事件的定义、转移流程、类型和查询方式。函数实例的生命...
使用流水线构建和上传容器镜像时提示“no such file ...
问题描述 使用流水线进行容器镜像构建与上传失败提示“no such file or directory”，即进行Dockerfile中的COPY操作时找不到对应的文件。问题原因 出现该问题的可能原因有以下2种：在云效控制台的流水线页面中，构建和制作镜像上传不在同...
角色管理
本文档主要为您说明如何管理数据湖构建中的角色。说明 子账号需要具备admin（数据湖管理员）或 super_administrator（超级管理员）的权限，才可以进行角色相关操作。查看角色信息 1.打开 数据湖构建控制台，并打开数据权限管理-角色菜单。2...
用户管理
本文档主要为您说明如何管理数据湖构建中已添加的用户。查看用户列表 1.打开 数据湖构建控制台，并打开数据权限管理-用户菜单。2.打开用户列表信息页面。说明 此处管理的用户为添加到数据湖构建中的用户，目前仅支持添加RAM用户到数据湖...
离线实时一体化数仓
以下为您系列讲解阿里云离线实时一体化数仓的能力，帮助您设计构建离线实时一体化数仓。课程视频列表 课程简介 课程内容：离线实时一体化概要介绍。主要产品：MaxCompute、Hologres、Flink、DataHub 课程时长：8分钟 课程内容：离线实时...
图像内容风控解决方案
使用限制 由于OSS不能跨地域访问数据，因此存储数据的OSS Bucket与构建模型的Designer工作流必须在同一地域。操作流程 基于阿里云 PAI 平台，构建图像内容风控解决方案的流程如下：准备数据 首先将原始图片数据存储在OSS，然后利用PAI数据...
分析服务一体化数仓
以下为您系列讲解阿里云服务分析一体化数仓的能力，帮助您设计构建分析服务一体化数仓。课程视频列表 课程简介 课程内容：分析服务一体化概要介绍，从分析服务一体化的需求来源为切入点，为您介绍分析服务一体化可应对的需求场景。主要产品...
分析服务一体化数仓
以下为您系列讲解阿里云服务分析一体化数仓的能力，帮助您设计构建分析服务一体化数仓。课程视频列表 课程简介 课程内容：分析服务一体化概要介绍，从分析服务一体化的需求来源为切入点，为您介绍分析服务一体化可应对的需求场景。主要产品...
LangStudio【内测中】
LangStudio是PAI平台上的大模型应用开发平台，集成了丰富的大模型应用开发组件及场景化模板，为广大开发者提供高效...构建/部署记录 单击应用编辑界面的 构建/部署记录，可以在 构建记录 和 部署记录 页签中查看或管理历史构建与部署的任务。
服务等级协议
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
CreateImagePipeline-创建镜像构建模板
473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 示例 正常返回示例 JSON 格式 {"ImagePipelineId":"ip-2ze5tsl5bp6nf2b3*","RequestId":"473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E"} 错误码 HTTP status code 错误码 错误信息 描述 400 ...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。前提条件 注册阿里云账号，并完成 实名认证。创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL和PolarDB作为数据来源。您需要输入RDS MySQL连接的用户名和密码。...
下载构建产物
应用构建或发布成功后，您可以在流水线中下载构建产物。前提条件 已运行构建流水线。具体操作请参见 运行流水线。下载最新构建产物 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览 页。在顶部导航栏，选择 研发工具。在 研发...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
新增授权
说明 目前支持的引擎：E-MapReduce产品（EMR-3.40.0及后续版本或EMR-5.6.0及后续版本），包括的计算引擎如下：Spark Hive Presto（目前仅限EMR-3.40.0及EMR-5.6.0版本支持，其他版本暂不支持）Databricks产品。打开新增授权页面 1.打开 ...
权限设置
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单：数据权限-权限设置 在数据目录（Catalog）的右侧，如数据目录处于关闭状态，点击“开启”操作，将会提示确认开启弹出框，确认后，完成权限开启。关闭权限 打开 数据构建控制台 依次...
存储概览
存储概览主要包括存储，元数据对象的基本信息，还包括存储趋势、存储归档分布，表格式分布，小文件分布等信息，可以方便您快速了解当前存储资源使用情况及问题，并进行优化。前提条件 已经开通OSS产品。已经在DLF中完成 Location托管。存储...
基础开发
本文介绍 Serverless 应用引擎 SAE（Serverless App Engine）源码部署的工作原理、环境配置、构建流程、源代码导入等信息。整体工作原理 作为 Serverless 应用引擎 SAE（Serverless App Engine）中，降低用户运维负担的重要一环，源码部署...
服务接入点
亚太 地域名称 地域ID 公网接入地址 VPC接入地址 华北2（北京）cn-beijing dlf.cn-beijing.aliyuncs.com datalake-vpc.cn-beijing.aliyuncs.com 华北3（张家口）...ap-southeast-1 dlf.ap-southeast-1.aliyuncs....
湖格式管理
功能介绍 湖格式管理主要提供自动化的湖格式优化策略，目前包括的策略如下：策略 所属类型 默认阈值 描述 AutoOptimizeByCommitVersion Optimize 17 每间隔固定的版本，触发Optimize任务 AutoVacuumByCommitVersion Clean 13 每间隔固定的...
DLF中数据入湖功能停止更新公告
数据湖构建（DLF）产品的数据入湖功能已于2023年02月15日停止更新，但会持续运维已有数据入湖作业。为了确保您业务连续性，建议您采用其他方式进行数据入湖，推荐使用 数据集成概述 或 Flink CDC：如 MySQL CDC DataStream Connector。停止...
用ACS实例运行镜像构建任务
在日常容器使用场景中，可能会遇到需要在ACS集群中构建镜像的诉求。本文介绍在ACS集群如何启动buildah Pod来创建新的容器镜像并推送到仓库。基本功能验证 准备工作 已创建一个ACS集群。网络 在ACS集群中构建镜像的过程中对网络的诉求主要是...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
公开分享容器镜像
构建设置 当代码源选择为Codeup、云Code、GitHub、Bitbucket、私有GitLab时，您需要配置构建设置：代码变更时自动构建镜像：当分支有代码提交后会自动触发构建规则。海外机器构建：构建时会在海外机房构建，构建成功后推送到指定地域。不...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
- 产品推荐
- 这些文档可能帮助您