阿里云首页
云原生数据湖分析 DLA
相关技术圈
云原生数据湖分析 DLA
云原生数据湖分析(Data Lake Analytics,简称DLA)是无服务器(Serverless)化的数据湖分析服务,支持按需与保留资源使用,打造最具性价比的数据湖分析平台;提供一站式的数据湖分析与计算服务,支持 ETL、机器学习、流、交互式分析,可以与 OSS、数据库等多种数据源搭配使用。
立即购买
功能特性
产品优势
相关技术圈
学习路径
由浅入深,带您玩转数据湖分析!
了解
DLA介绍
什么是DLA
核心功能
典型场景
计费
计费方式
按计算资源计费
上手
快速入门
使用流程
元数据发现
DLA Presto
DLA Spark
使用
数据湖管理
元信息管理
OSS数据源
Tablestore数据源
实时入湖
Serverless Presto
Serverless Presto概述
常用SQL
服务访问点
读取Redis数据
跨账号读取OSS数据
读取Tablestore数据
钉钉机器人消息通知
Serverless Spark
配置子账号权限
创建Spark作业
时空引擎Ganos
Spark SQL
Spark Streaming
ETL调度
调度DLA Presto任务
调度DLA Spark任务
监控与报警
Presto监控
Spark监控
实践
最佳实践
海量低成本日志分析方案
友盟数据分析
联合查询多个MySQL实例
行列转换
开发
开发者文档
API参考
Java SDK
Python SDK
云原生数据湖分析 DLA
动态与公告
版本发布记录
产品简介
什么是云原生数据湖分析
扫描量版本与CU版本的差异
功能特性
产品优势
典型场景
常见术语
约束和限制
产品计费
计费概述
计费方式
按计算资源付费(CU版计费)
按扫描量付费
快速入门
使用流程
开通云原生数据湖分析服务
通过元信息发现功能查询并分析OSS数据
DLA Presto CU版本快速入门
DLA Spark快速入门
账号和权限管理
账号概览
管理DLA账号
管理RAM账号
DLA子账号绑定RAM账号
授予RAM账号细粒度访问DLA的权限
虚拟集群管理
创建虚拟集群
数据湖管理
元信息管理
查询Schema详情
元信息发现
OSS数据源
Tablestore数据源
SLS的OSS投递数据源
数据入湖
DLA Lakehouse实时入湖
Kafka实时入湖建仓分析
Lindorm实时入湖建仓分析
T+1全量同步一键建仓
概述
如何使用T+1全量同步一键建仓
一键创建OSS数据仓库
授权DLA删除OSS文件
T+1多库合并建仓
ActionTrail日志清洗
Serverless Presto
Serverless Presto概述
访问点管理
创建服务访问点
删除服务访问点
SQL 参考
常用SQL
数据类型
数据源与功能的矩阵
DDL
CREATE SCHEMA
CREATE TABLE
CREATE TABLE LIKE MAPPING
概述
基于MongoDB集合自动推断建表
基于OSS文件自动推断建表
基于RDS表自动推断建表
ALTER TABLE
DROP TABLE
DROP SCHEMA语法
CREATE VIEW
DROP VIEW
MSCK REPAIR DATABASE
MSCK REPAIR TABLE SYNC_DIR
MSCK REPAIR TABLE
SHOW
基于Tag和树状结构的库、表元信息管理
DML
INSERT
数据写入AnalyticDB
数据写入RDS
数据写入OSS
数据写入Table Store
语法
SELECT
KILL
ACL
GRANT
REVOKE
系统函数
函数概述
聚合函数
二进制函数
位运算函数
转换函数
日期和时间函数
漏斗数据分析函数
地理空间函数
JSON函数
数学函数
手机号码函数
事件路径分析函数
SQL分析函数
字符串函数
条件运算函数
窗口函数
Hints
注意事项和限制
支持的文件格式
Table Properties
通用属性
OSS表属性
性能优化指南
连接数据源
Cassandra
OSS
读写OSS数据
背景信息以及准备工作
操作步骤
分区表
创建分区表
写入数据到分区表
各类文件格式建表教程
存储格式与SerDe
CSV
JSON
TSV
ORC
Parquet
跨账号读取OSS数据
OSS访问日志分析
分析MaxCompute外部表数据
分区投影
OceanBase
Kudu
HDFS
HiveMetastore
RDS
一键同步RDS表结构
读写RDS MySQL数据
读写RDS MySQL数据
读写RDS PostgreSQL数据
读写RDS PostgreSQL数据
读写RDS SQLServer数据
读写RDS SQLServer数据
PolarDB
背景信息以及准备工作
创建PolarDB Schema
创建PolarDB表并读写数据
Oracle
创建Oracle Schema
创建表
创建MySQL数据库
背景信息以及准备工作
创建MySQL Schema
创建MySQL表并读取数据
Tablestore
Tablestore计算下推
读写Tablestore数据
性能调优
AnalyticDB for MySQL 2.0
背景信息以及准备工作
创建OSS Schema和表
创建AnalyticDB Schema
执行INSERT FROM SELECT迁移数据
AnalyticDB for MySQL 3.0
背景信息以及准备工作
创建OSS Schema和表
创建AnalyticDB for MySQL Schema和表
将OSS数据写入AnalyticDB for MySQL 3.0
AnalyticDB for PostgreSQL
读写AnalyticDB for PostgreSQL数据
MongoDB
背景信息以及准备工作
创建MongoDB Schema
创建MongoDB表并读写数据
MaxCompute
读写MaxCompute数据
ElasticSearch
读写Elasticsearch数据
Druid
Redis
背景信息以及准备工作
创建Redis Schema
创建Redis表并读取数据
CDN
读取CDN日志数据
消息回执机制
背景信息
MNS消息回执通知
MQ消息回执通知
钉钉机器人消息通知
连接数据湖分析
连接概览
MySQL命令行
Superset连接数据湖分析
业务系统连接数据湖分析
Druid
Druid连接池
PreparedStatement
JDBC程序连接
客户端连接数据湖分析
DBeaver
Navicat for MySQL
SQL WorkBench/J
Power BI
与开源Presto对比性能白皮书
测试环境
测试方法
Serverless Spark
Serverless Spark概述
专家服务
权限配置
快速配置子账号权限
细粒度配置RAM子账号权限
配置RAM子账号跨账号访问OSS
开发指南
创建和执行Spark作业
作业配置指南
Spark UI
配置数据源网络
Spark SQL
Spark UDF
PySpark
Spark MLlib
Spark Streaming
生态工具
Airflow调度DLA Spark作业
Jupyter交互式作业开发
Spark-Submit命令行工具
Spark-SQL命令行工具
连接数据源
Elasticsearch
AnalyticDB PostgreSQL
AnalyticDB MySQL
LogHub
Lindorm文件引擎
HBase标准版2.0版本Phoenix服务
DataHub
Kafka
OSS
PolarDB MySQL
PolarDB-X
MongoDB
Redis
MaxCompute
Hive
Hadoop
HBase
Cassandra
RDS
ClickHouse
Tablestore
数据湖时空引擎Ganos
产品简介
地理空间分析(Geometry)
基本概念
快速开始
连接数据源
Hive
PolarDB
GeoMesa(HBase/Cassandra)
PostGIS
GeoTools
时空几何函数参考
地理空间分析(Raster)
基本概念
快速开始
连接数据源
OSS
PolarDB
Lindorm(HBase)
时空栅格函数参考
应用案例
应用案例与最佳实践
Lindorm(HBase)数据入库与ETL
自定义UDF
性价比白皮书
测试环境
测试方法
测试结果
ETL调度
DataWorks
调度DLA Presto任务
循环调度DLA Presto任务
背景信息以及准备工作
实施步骤
DMS
调度DLA Presto任务
调度DLA Spark任务
监控与报警
查看Presto监控
查看Spark监控
管理报警
指定作业的报警设置
API参考
API概览
请求结构
签名方法
公共参数
返回结果
Serverless Spark
SubmitSparkSQL
SubmitSparkJob
GetJobStatus
GetJobDetail
GetJobLog
GetJobAttemptLog
KillSparkJob
ListSparkJob
ListSparkJobAttempt
ListSparkStatements
GetSparkStatement
ExecuteSparkStatement
CancelSparkStatement
GetSparkSessionState
服务管理
CreateInstance
ReleaseInstance
ValidateVirtualClusterName
元数据
权限管理
GrantPrivileges
RevokePrivileges
数据库管理
CreateDatabase
GetDatabase
GetAllDatabases
AlterDatabase
DropDatabase
分区管理
AddPartitions
GetPartition
GetPartitions
DropPartition
表管理
CreateTable
GetTable
GetAllTables
AlterTable
DropTable
SDK参考
创建AccessKey
Serverless Spark
Python
SDK安装与使用
Python SDK Demo
Java
SDK安装与使用
Java SDK Demo
最佳实践
基于SLS+OSS+DLA构建海量、低成本日志分析方案
友盟数据分析
DCDN日志分析
联合查询多个MySQL实例
漏斗分析
OSS文件类型转换(SQL模式)
文件格式转换方法和注意事项
概述
ORC
Parquet
RCFILE
快速搭建DataV数据大屏
背景信息以及准备工作
实施步骤
Quick BI
快速搭建Quick BI可视化报表
背景信息及准备工作
实施步骤
Quick BI查询加速
JSON数据行列转换
背景信息及准备工作
行列转换
JSON数据列展开
常见问题
数据湖管理FAQ
Presto FAQ
Spark FAQ
跨云服务授权
DLA服务关联角色
相关协议
服务等级协议SLA
服务条款
云数据库 RDS
云数据库 OceanBase
云原生内存数据库Tair
图数据库 GDB
数据库自治服务 DAS
HybridDB for MySQL(文档停止维护)
数据库网关 DG
云数据库专属集群 MyBase
云数据库 HBase
云数据库 Redis
首页
云原生数据湖分析 DLA