文档

约束和限制

更新时间:

本文档主要介绍了云原生数据湖分析(Data Lake Analytics,DLA)的限制约束条件。

账号和元数据限制

限制

描述

每个账号可购买虚拟集群数量的最大值

10

每个DLA Presto虚拟集群可配置的数据源网络数量

1

每个账号可创建数据库的最大值

100

每个数据库下表数量的最大值

4096

每张表中列数的最大值

4096

每张表中分区数的最大值

60000

一个客户端IP一分钟内最多可发起的JDBC连接请求数

10

Presto使用限制

限制

描述

DLA Presto外表数据源支持的阿里云产品列表

OSS

RDS

Tablestore

PolarDB

Redis

MongoDB

AnalyticDB for MySQL

DLA Presto异步查询结果写入端

OSS

Spark使用限制

限制

描述

DLA Spark支持访问DLA元数据服务中的外表数据源

OSS

DLA Spark暂不支持的Spark功能

Spark JDBC(Thrift)

SparkR

DLA Spark资源(JAR、ZIP、TAR等)上传方式

只支持上传到OSS

DLA Spark账号及权限配置

依赖RAM账号,并且子账号必须关联DLA账号

数据湖管理使用限制

限制

描述

元数据发现支持发现的数据源

OSS

SLS

Tablestore

元数据发现OSS数据源的文件格式

只支持识别CSV、JSON、Parquet、ORC格式的文件

元数据发现OSS数据源目录结构

按照库/表/分区布局的路径

元数据发现OSS数据源发现文件采样方式

目录下面采样最新和最老的文件,每个文件读取前1000行

元数据发现SLS数据源发现历史投递数据

如果投递中途修改了分区格式,不会发现修改前的数据

一键建仓/多库合并支持的数据源网络类型

VPC

一键建仓/多库合并支持的数据源

PolarDB MySQL

RDS MySQL

RDS SqlServer

RDS PostgreSQL

MongoDB

Lakehouse实时入湖支持的数据源

RDS MySQL+DTS

PolarDB MySQL+DTS