< 文档首页
云原生数据湖分析 DLA
产品简介
什么是云原生数据湖分析
扫描量版本与CU版本的差异
功能特性
产品优势
典型场景
常见术语
使用限制
计费与开通服务
计费方式
开通云原生数据湖分析服务
快速入门
使用流程
通过元信息发现功能查询并分析OSS数据
DLA SQL(兼容Presto)CU版本快速入门
账号和权限管理
账号类型
数据库账号和权限
重置数据库账号密码
删除数据库子账号
RAM子账号和权限
DLA 子账号绑定 RAM 子账号
授予RAM子账户DLA细粒度权限
虚拟集群管理
创建虚拟集群
数据湖管理
元信息管理
查询Schema详情
元信息发现
OSS数据源
Tablestore数据源
SLS的OSS投递数据源
数据入湖
T+10min实时湖
基于DLA+DTS同步RDS数据来构建实时数据湖
T+1全量同步一键建仓
概述
使用T+1全量同步一键建仓
一键创建OSS数据仓库
立即同步数据
查看数据同步任务
授权DLA删除OSS文件
高级选项功能
T+1多库合并建仓
ActionTrail日志清洗
Serverless SQL
Serverless SQL概述
访问点管理
创建服务访问点
删除服务访问点
SQL 参考
常用SQL
数据类型
数据源与功能的矩阵
DDL
CREATE SCHEMA
CREATE TABLE
CREATE TABLE LIKE MAPPING
概述
基于MongoDB集合自动推断建表
基于OSS文件自动推断建表
基于RDS表自动推断建表
ALTER TABLE
DROP TABLE
DROP SCHEMA语法
CREATE VIEW
DROP VIEW
MSCK REPAIR DATABASE
MSCK REPAIR TABLE SYNC_DIR
MSCK REPAIR TABLE
SHOW语法
基于Tag和树状结构的库、表元信息管理
DML
INSERT
语法
数据写入OSS
数据写入Table Store
数据写入RDS
数据写入AnalyticDB
SELECT
KILL
ACL
GRANT
REVOKE
系统函数
函数概述
聚合函数
IP地址解析函数
二进制函数
位运算函数
转换函数
日期和时间函数
漏斗数据分析函数
地理空间函数
JSON函数
数学函数
手机号码函数
事件路径分析函数
SQL分析函数
字符串函数
条件运算函数
窗口函数
Hints
注意事项和限制
支持的文件格式
Table Properties
通用属性
OSS表属性
性能优化指南
连接数据源
OSS
读写OSS数据
背景信息以及准备工作
操作步骤
分区表
创建分区表
写入数据
各类文件格式建表教程
存储格式与SerDe
CSV
JSON
TSV
ORC
PARQUET
跨账号读取OSS数据
OSS访问日志分析
分析MaxCompute外部表数据
OceanBase
Kudu
HDFS
RDS
一键同步RDS表结构
读写RDS MySQL数据
准备工作
操作步骤
读写RDS PostgreSQL数据
读写RDS PostgreSQL数据
读写RDS SQLServer数据
读写RDS SQLServer数据
POLARDB
背景信息以及准备工作
创建POLARDB Schema
创建POLARDB表并读写数据
Oracle
创建Oracle Schema
创建表
创建MySQL数据库
背景信息以及准备工作
创建MySQL Schema
创建MySQL表并读取数据
Tablestore
读写Tablestore数据
背景信息以及准备工作
操作步骤
性能调优
AnalyticDB for MySQL 2.0
读写AnalyticDB for MySQL 2.0
背景信息以及准备工作
创建OSS Schema和表
创建AnalyticDB Schema
执行INSERT FROM SELECT迁移数据
AnalyticDB for MySQL 3.0
读写AnalyticDB for MySQL 3.0数据
背景信息以及准备工作
创建OSS Schema和表
创建AnalyticDB for MySQL Schema和表
将OSS数据写入AnalyticDB for MySQL 3.0
AnalyticDB for PostgreSQL
读写AnalyticDB for PostgreSQL数据
MongoDB
读写MongoDB数据
背景信息以及准备工作
创建MongoDB Schema
创建MongoDB表并读写数据
MaxCompute
读写MaxCompute数据
背景信息以及准备工作
实施步骤
ElasticSearch
分析ElasticSearch数据
Druid
Redis
读取Redis数据
背景信息以及准备工作
创建Redis Schema
创建Redis表并读取数据
CDN
读取CDN日志数据
消息回执机制
背景信息
MNS消息回执通知
MQ消息回执通知
钉钉机器人消息通知
连接数据湖分析
连接概览
MySQL命令行
Superset连接数据湖分析
业务系统连接数据湖分析
PreparedStatement
JDBC程序连接
Druid连接池
Druid
客户端连接数据湖分析
DBeaver
SQL WorkBench/J
Navicat for MySQL
性能白皮书
测试环境
测试方法
测试结果
Serverless Spark
Serverless Spark概述
专家服务
权限配置
快速配置子账号权限
细粒度配置RAM子账号权限
配置RAM子账号跨账号访问OSS
开发指南
创建和执行Spark作业
作业配置指南
Spark UI
配置数据源网络
Spark SQL
PySpark
Spark MLlib
Spark Streaming
Spark-Submit命令行工具
Spark-SQL命令行工具
Spark支持Virtualenv以及压缩文件上传
连接数据源
AnalyticDB PostgreSQL
AnalyticDB MySQL
LogHub
Lindorm文件引擎
Lindorm宽表SQL
HBase标准版2.0版本Phoenix服务
DataHub
Kafka
OSS
PolarDB MySQL
PolarDB-X
MongoDB
Redis
MaxCompute
Hive
Hadoop
HBase
Cassandra
RDS
ClickHouse
TableStore
数据湖时空引擎Ganos
产品简介
地理空间分析(Geometry)
基本概念
快速开始
连接数据源
Hive
PolarDB
GeoMesa(HBase/Cassandra)
PostGIS
GeoTools
时空几何函数参考
地理空间分析(Raster)
基本概念
快速开始
连接数据源
OSS
PolarDB
Lindorm(HBase)
时空栅格函数参考
应用案例
应用案例与最佳实践
Lindorm(HBase)数据入库与ETL
自定义UDF
ETL调度
DataWorks
调度DLA Spark 任务
调度DLA SQL任务
循环调度DLA SQL任务
背景信息以及准备工作
实施步骤
DMS
调度DLA SQL任务
调度DLA Spark任务
最佳实践
海量、低成本日志分析
联合查询多个MySQL实例
漏斗分析
OSS文件类型转换(SQL模式)
概述
文件格式转换方法和注意事项
ORC
Parquet
RCFILE
快速搭建DataV数据大屏
背景信息以及准备工作
实施步骤
快速搭建Quick BI可视化报表
背景信息及准备工作
实施步骤
JSON数据行列转换
背景信息及准备工作
行列转换
JSON数据列展开
DCDN日志分析
API参考
API概览
请求结构
签名方法
公共参数
返回结果
Serverless Spark
SubmitSparkJob
GetJobStatus
GetJobDetail
GetJobLog
ListSparkJob
KillSparkJob
服务管理
CreateInstance
ReleaseInstance
AddAccount
AddEndPoint
DeleteAccount
GetAllowIP
GetEndPoint
GetEndPointByDomain
QueryAccountList
QueryEndPointList
RemoveEndPoint
ResetMainPassword
SetAllowIP
UnSubscribeRegion
UpdateAccountPassword
ValidateVirtualClusterName
元数据
权限管理
GrantPrivileges
RevokePrivileges
数据库管理
CreateDatabase
GetDatabase
GetAllDatabases
AlterDatabase
DropDatabase
分区管理
AddPartitions
GetPartition
GetPartitions
DropPartition
表管理
CreateTable
GetTable
GetAllTables
AlterTable
DropTable
SDK参考
Serverless Spark
获取AccessKey
Python
SDK安装与使用
Python SDK Demo
Java
SDK安装与使用
Java SDK Demo
常见问题
版本变更记录
版本发布记录
跨云服务授权
DLA服务关联角色
相关协议
服务等级协议
服务条款
全部产品
弹性计算
云服务器 ECS
轻量应用服务器
GPU云服务器
FPGA云服务器
专有宿主机
弹性云桌面
弹性高性能计算E-HPC
批量计算
弹性伸缩
资源编排
运维编排服务
函数计算
Serverless应用引擎
Serverless工作流
弹性加速计算实例EAIS
存储
对象存储 OSS
表格存储 Tablestore
文件存储 NAS
文件存储 CPFS
文件存储 HDFS
数据库文件存储
内容协作平台
相册与网盘服务
日志服务
智能媒体管理
离线迁移服务(闪电立方)
混合云备份服务
混合云容灾服务
云存储网关
混合云存储阵列
在线迁移服务
智能云相册
数据库
PolarDB MySQL 云原生数据库
PolarDB-O 云原生数据库
PolarDB PostgreSQL 云原生数据库
PolarDB-X 云原生分布式数据库
云数据库 RDS
云数据库 OceanBase
云数据库专属集群 MyBase
云原生多模数据库 Lindorm
云数据库 Redis
云数据库 MongoDB
云数据库 HBase
云数据库 Cassandra
时序数据库 TSDB
图数据库 GDB
云数据库 Memcache
可信账本数据库 LedgerDB
云原生数仓 AnalyticDB MySQL
云原生数仓 AnalyticDB PostgreSQL
云数据库 ClickHouse
云原生数据湖分析 DLA
数据传输服务 DTS
数据管理 DMS
数据库备份 DBS
数据库自治服务 DAS
数据库网关 DG
数据库专家服务
数据库和应用迁移服务 ADAM
HybridDB for MySQL
安全
安全公告和技术
DDoS防护
Web 应用防火墙
SSL证书
云安全中心
云防火墙
堡垒机
漏洞扫描
操作审计
终端访问控制系统
访问控制
应用身份服务
数据库审计
加密服务
敏感数据保护
内容安全
密钥管理服务
风险识别
实人认证
爬虫风险管理
游戏盾
安全管家
先知(安全众测)
安骑士
人机验证
金融级实人认证
智能核身(增强版)
云安全访问服务
威胁情报
特权访问服务
大数据
MaxCompute
E-MapReduce
阿里云Elasticsearch
数据湖构建
实时计算Flink版
交互式分析Hologres
Databricks数据洞察
开放搜索
图计算服务
DataWorks
智能数据构建与管理 Dataphin
Quick BI
DataV数据可视化
智能推荐
智能用户增长
数据资源平台
DataHub
公众趋势分析
人工智能
机器学习PAI
卫星及无人机遥感影像分析产品
图像搜索
视觉计算服务
智能视觉生产
城市视觉智能引擎
多媒体AI
智能语音交互
印刷文字识别
自然语言处理
交通云控平台
工业大脑开放平台
机器翻译
人工智能众包
全息空间
智能语义理解
视频内容检索
语言协同平台
三维空间重建
阿里云视觉智能开放平台
网络与CDN
网络介绍
专有网络 VPC
云解析 PrivateZone
负载均衡
NAT 网关
弹性公网 IP
IPv6转换服务
共享带宽
共享流量包
云企业网
全球加速
智能接入网关
高速通道
CDN
全站加速
SCDN
PCDN
边缘节点服务ENS
IPv6网关
VPN网关
私网连接 PrivateLink
Anycast EIP
云网管
视频服务
视频直播
视频点播
音视频通信
云视频会议
媒体处理
视频监控
智能视觉
智能媒体生产
容器与中间件
容器服务Kubernetes版
服务网格 ASM
弹性容器实例
容器镜像服务 ACR
企业级分布式应用服务 EDAS
微服务引擎MSE
应用配置管理 ACM
全局事务服务 GTS
云服务总线 CSB
消息队列RocketMQ版
事件总线EventBridge
消息队列Kafka版
消息队列RabbitMQ版
微消息队列 MQTT 版
消息服务MNS
分布式任务调度 SchedulerX
开发与运维
应用实时监控服务ARMS
Prometheus 监控
云监控
应用高可用服务 AHAS
智能顾问
Node.js 性能平台
链路追踪Tracing Analysis
Web应用托管服务
性能测试 PTS
移动测试
应用发现服务
服务器迁移中心
移动研发平台 EMAS
移动DevOps
移动热修复
崩溃分析
性能分析
远程日志
移动推送
移动数据分析
移动用户反馈
HTTPDNS
OpenAPI Explorer
云命令行
逻辑编排
Alibaba Cloud Toolkit
云效
云效2020
资源管理
小程序云
全局流量管理
配置审计
管理控制台
IT治理样板间
云架构设计工具
配额中心
全域用户行为洞察分析平台
API与工具
阿里云CLI
集成开发最佳实践
CodePipeline
阿里云交易和账单管理API
Terraform
Ansible
Java SDK
Python SDK
Go SDK
.NET SDK
PHP SDK
Node.js SDK
Pulumi
云开发平台
工单系统API
物联网
阿里云物联网平台
设备接入Link SDK
IoT物联网操作系统
IoT设备身份认证
物联网应用开发
物联网数据分析
物联网边缘计算
视频边缘智能服务
物联网络管理平台
物联网无线连接服务
IoT安全运营中心
IoT可信执行环境
IoT固件安全检测
IoT安全解决方案
IoT可信服务管理
生活物联网平台
AIoT开放平台
物联网应用托管服务
物联网应用服务
智联车管理云平台
物联网行业方案
工业互联网平台
物联网市场
阿里云IoT技术认证
数字社区平台
线下广告投放平台
AIoT数字园区引擎
专有云
企业版
敏捷版
敏捷大数据版
一体机
企业应用与服务
Teambition
云投屏
机器人流程自动化RPA
宜搭
云行情
工业视觉智能
货架商品识别与管理
政务钉钉
地址标准化
IP地理位置库
云游戏平台
备案
云 AP
API 网关
邮件推送
云价签
专属钉钉解决方案
区块链服务 BaaS
可信计算服务
分布式数字身份
跨链数据连接服务
短信服务
语音服务
智能联络中心
号码隐私保护
号码认证服务
号码百科
云通信网络加速
云呼叫中心
云小蜜
智能外呼机器人
智能语音导航
智能对话分析
云客服
智能双录质检
Linkedmall
鹿班
智能数据助理
云市场
数字金融
移动开发平台 mPaaS
金融分布式架构 SOFAStack
SOFAStack 微服务
SOFAStack API 统一网关
金融云
域名与网站
域名
云虚拟主机
云解析 DNS
阿里云公共DNS
企业邮箱
弹性 Web 托管
ICP许可证
EDI许可证
食品经营许可证
云·速成美站
云·企业官网
资质管家服务
网络文化经营许可证(文网文)
CDN经营许可证
IDC经营许可证
SP经营许可证
ISP经营许可证
高新技术企业认定
工商财税与知识产权
阿里云商标服务
工商注册服务
软件著作权登记
图片服务
代理记账
智能logo设计
智能财税
移动研发平台EMAS-专有云
移动研发平台EMAS-专有云
Native DevOps
跨平台 DevOps
移动API网关
通道服务
远程配置
移动监控
移动测试
移动热修复
移动数据分析
移动推送
解决方案
SAP 解决方案
通用解决方案
阿里政务云
MindSphere on Alibaba Cloud
阿里云VMware服务
会员服务
财务
用户中心
账号管理
费用中心
会员积分
活动
云大使推荐返现
飞天会员
更多
支持与服务
信任中心
阿里云App
阿里云图标
法律条款
阿里云规则
Red Hat云接入和Windows许可证
阿里云认证
云原生数据湖分析 DLA
>
ETL调度
ETL调度
更新时间:2020-11-12 19:46
我的收藏
本页目录
DMS
DataWorks
上一篇:
下一篇:
以上内容是否对您有帮助?
在文档使用中是否遇到以下问题
内容错误
更新不及时
链接错误
缺少代码/图片示例
太简单/步骤待完善
其他
内容错误
更新不及时
链接错误
缺少代码/图片示例
太简单/步骤待完善
其他
更多建议
提交建议
匿名提交
感谢您的打分,是否有意见建议想告诉我们?
提交建议
感谢您的反馈,反馈我们已经收到
文档反馈
鼠标选中内容,快速选择问题
选中存在疑惑的文档内容,即可生成截图进行反馈,我们会跟进处理。
好的,知道了
文档反馈
在文档使用中是否遇到以下问题
更多建议
匿名提交