文档

使用限制

您在使用数据湖构建(Data Lake Formation,简称DLF)控制台和接口时,产品做了如下限制,请在使用时注意不要超过相应的限制值,以免出现异常。

数据湖元数据

限制项

用户配额

单表QPS

500

单表分区数量

100万

数据湖入湖预处理作业

限制项

用户配额

用户入湖作业数量(每个region)

1000个

每个入湖作业最大资源量

100CU

兼容与使用限制说明

  1. 以下3种Hive特性不支持,建议采用最新Delta/Hudi/Iceberg方案替代:

    1. 不支持 Hive DB Lock manager API

    2. 不支持 Hive Db Transaction Manager API

    3. 不支持 Hive Constraint:如Primary key/Foreign key

  2. 不支持Hive SQL Standards Based Authorization

    1. 旧版Hive权限,开源社区已不再发展,建议使用数据湖构建数据权限功能替代

  3. 不支持Metastore listener

    1. 建议使用阿里云操作审计API,实现对元数据操作的监听和管理。

  4. 不支持Hive LLAP

    1. 建议使用Presto/Spark等引擎替代

  5. 目前DLF不支持与自建的Hadoop集群集成,如需使用数据湖请选择阿里云E-MapReduce集群。

  • 本页导读 (0)
文档反馈