使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
常见术语
本文档主要介绍云原生数据湖分析（Data Lake Analytics，DLA）文档中涉及的基本概念。数据湖 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据，数据湖支持存储EB级别的数据，阿里云数据湖存储以OSS为代表！数据湖...
功能特性
本文档主要介绍数据湖分析服务DLA包含的核心功能以及应用场景。数据湖分析服务DLA支持以下功能：功能名称 功能描述 参考文档 账号管理 账号分为DLA账号、RAM账号。您可以创建DLA子账号，并关联RAM子账号，关联后可以通过RAM子账号提交Spark...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
什么是云原生数据湖分析
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 云原生数据仓库AnalyticDB MySQL版产品简介。云原生数据...
快速配置子账号权限
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 账号授权。前提条件 已创建RAM子账号。具体请参见 创建...
SDK安装与使用
使用SDK提交作业的代码如下所示：/*提交一个作业到数据湖分析Serverless Spark*@param regionId 使用的数据湖分析的REGION_ID*@param accessKeyId 用户AccessKeyId*@param accessKeySecret 用户AccessKeySecret*@param virtualClusterName ...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
计费概述
计费方式 计费类别 说明 适用场景 相关文档 按计算资源付费 数据湖分析CU版根据购买的CU规格进行计费，费用跟运行查询扫描的数据量没有关系。计费模式如下。包年包月。按量付费。适用于查询频率高、查询数据量较大的场景，同时也能够给您...
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。查看Spark监控 数据湖管理 从库读取 Lakehouse支持RDS、PolarDB MySQL从库读取。无 性能提升 Lakehouse支持DB...
友盟数据分析
您需要购买数据湖分析流量包并完成支付，通过阿里云数据湖分析DLA产品来进行数据的查询和投递。支付完成后请您不要关闭浏览器，等待开通成功的提示窗口。查询数据 服务开通成功之后，等待一段时间您就可以看到友盟自动为您的阿里云账号创建...
Lindorm实时入湖建仓分析
前提条件 已在DLA中开通云原生数据湖分析服务。更多信息，请参见 开通云原生数据湖分析服务。已创建Spark引擎的虚拟集群。更多信息，请参见 创建虚拟集群。已创建Presto CU版虚拟集群。更多信息，请参见 DLA Presto CU版本快速入门。如果您...
Serverless Presto概述
阿里云数据湖分析团队在Presto之上又进行了很多的优化，DLA支持了阿里云几乎所有的数据源比如AnalyticDB、TableStore等等；阿里云数据湖分析团队优化了Hive Connector，使得分析OSS数据时对OSS调用量大幅下降，从而提高性能且节省成本；DLA...
通过元信息发现功能查询并分析OSS数据
操作步骤 开通云原生数据湖分析服务。登录 OSS管理控制台，上传文件到OSS，具体操作请参见 上传文件。例如将 supplier_with_header.csv 文件上传到OSS的指定目录 oss:/alibaba-crawler/schema1/supply_ceshi/。登录 数据湖分析管理控制台，...
Java SDK Demo
本文以一个完整的程序为例，提交一个计算π的作业到数据湖分析DLA，跟踪它的状态，查询历史上的运行结果。import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import ...
应用场景
数据湖分析 Databricks数据洞察支持计算存储分离的数据湖架构。使用阿里云对象存储OSS作为云上存储，DDI集群提供灵活的计算资源，OSS上的数据可以被多个DDI集群共享，减少数据冗余。同时，DataInsight Notebook支持多用户同时协同工作，您...
DLA Lakehouse实时入湖
背景信息 数据湖分析（Data Lake Analytics）是⽬前炙⼿可热的⽅向，主要是以对象存储系统为核心，构建海量、低成本的结构化、半结构化、⾮结构化对象⽂件的入湖、存储和分析业务。⽬前各⼤云⼚商都在积极跟进，布局相关的业务能力，阿⾥云...
什么是EMR Serverless StarRocks
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）...
删除服务访问点
删除VPC网络 进入 数据湖分析管理控制台。单击待删除VPC网络右侧的 删除。在弹出的 确认删除 框中，单击 确定。在弹出的 手机验证 框中，输入验证码，然后单击 确定 删除服务访问点。单击 更换手机，根据系统提示更换账号绑定手机。
游戏运营融合分析
架构图 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDS MySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADB 数据湖分析DLA、Quick BI 参考链接 有关游戏运营融合分析...
约束和限制
本文档主要介绍了云原生数据湖分析（Data Lake Analytics，DLA）的限制约束条件。账号和元数据限制 限制 描述 每个账号可购买虚拟集群数量的最大值 10 每个DLA Presto虚拟集群可配置的数据源网络数量 1 每个账号可创建数据库的最大值 100 ...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
典型场景
数据湖分析 云原生数据仓库AnalyticDB PostgreSQL版 可以通过外部表机制，高并行直接访问海量云存储OSS上的数据，构筑阿里云统一数据湖分析平台。产品功能优势 针对主要的OLAP业务，云原生数据仓库AnalyticDB PostgreSQL版 具备以下优势。...
控制台发布记录
V1.8.0版本 发布日期 2024年03月11日 功能更新 功能分类 功能更新说明 管控平台能力 实例类型支持三个版本：支持存算一体版、数据湖分析版和存算分离版。诊断分析能力增强：支持SQL查询分析、表分析、导入任务分析等，帮助您快速定位有问题...
背景信息及准备工作
在DLA中完成以下准备工作 开通云原生数据湖分析服务。重置数据库密码。在Quick BI中完成以下准备工作 目前只有Quick BI专业版和Quick BI高级版，支持添加DLA数据源。关于如何购买 和免费试用Quick BI，请参见 Quick BI购买、升级、降级、...
Kafka实时入湖建仓分析
前提条件 已在DLA中开通云原生数据湖分析服务。更多信息，请参见 开通云原生数据湖分析服务。已创建Spark引擎的虚拟集群。更多信息，请参见 创建虚拟集群。如果您使用RAM子账号登录，还需要进行如下操作：已授予RAM子账号...
ActionTrail日志清洗
在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：创建Schema 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏...
如何使用T+1全量同步一键建仓
在DLA中进行如下操作：开通DLA服务，具体请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，具体请参见 重置数据库账号密码。操作步骤 一键创建OSS数据仓库 创建一键建仓任务后，根据业务需要，您也可以在 数据入湖 页面的 ...
应用场景
数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-HDFS，集群的YARN服务不再依赖集群本地的HDFS，也不需要使用Core节点组，从而提高了集群的弹性和灵活...
产品优势
数据共享 Databricks数据洞察采用数据湖分析的架构设计，使用阿里云对象存储服务（OSS）为核心存储，直接读取分析OSS的数据，无需对数据做二次迁移，实现数据在多引擎之间的共享。icmsDocProps={'productMethod':'created','language':'zh-...
调度DLA Spark任务
您已开通云原生数据湖分析服务，详情请参见 开通云原生数据湖分析服务 您已开通OSS服务，详情请参见 开通OSS服务。您已创建DLA Spark虚拟集群，详情请参见 创建虚拟集群。说明 如果您想用RAM用户提交Spark作业，且之前未使用过RAM用户在DLA...
Spark SQL
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 Spark SQL开发。Spark访问数据湖元数据服务 Spark引擎...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
湖仓一体
有关SelectDB支持的外部数据源，请参见 数据湖分析 和 数据库分析。云数据库SelectDB 也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成 云数据库SelectDB 中的表，从而方便地对这些文件...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL ...支持 不支持 相关文档 使用OSS Foreign Table进行数据湖分析 使用OSS Foreign Table导出数据 使用OSS Foreign Table分区表 OSS Foreign Table使用技巧 OSS Foreign Table数据类型对照表
ClickHouse
前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务，详情请参见 开通云原生数据湖分析服务 并在 云原生数据湖分析DLA控制台 上创建了 Spark虚拟集群。您已开通对象存储OSS（Object Storage Service）服务，详情请参见 开通OSS...
创建和执行Spark作业
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体请参考 细粒度配置RAM子账号...
即时查询DBS逻辑备份
已开通数据湖分析（Data Lake Analytics，简称DLA）服务。重要 自2023年06月01日起，DLA已停止开通和售卖。如果您在该日期之前已开通了DLA服务，请继续参考本文进行操作。超出该日期后将无法再开通该功能。更多详情，请参见【通知】停止...
按扫描量付费
您可以登录 数据湖分析管理控制台，通过 费用>订单 查看消费记录。如何节省费用 您可以先通过以下3种方式对原始数据进行处理，然后再使用DLA扫描数据，可以节省一定的费用。格式转换：把原始数据的格式转换为高性能格式。DLA支持多种高性能...
测试环境
本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。环境配置要求 客户端ECS与服务端（Presto和DLA Presto）处于同一地域、同一可用区。本例...
- 产品推荐
- 这些文档可能帮助您