您在使用数据湖构建(Data Lake Formation,简称DLF)控制台和接口时,产品做了如下限制,请在使用时注意不要超过相应的限制值,以免出现异常。
数据湖元数据
限制项 | 用户配额 |
单表QPS | 500 |
单表分区数量 | 100万 |
数据湖入湖预处理作业
限制项 | 用户配额 |
用户入湖作业数量(每个region) | 1000个 |
每个入湖作业最大资源量 | 100CU |
兼容与使用限制说明
以下3种Hive特性不支持,建议采用最新Delta/Hudi/Iceberg方案替代:
不支持 Hive DB Lock manager API
不支持 Hive Db Transaction Manager API
不支持 Hive Constraint:如Primary key/Foreign key
不支持Hive SQL Standards Based Authorization
旧版Hive权限,开源社区已不再发展,建议使用数据湖构建数据权限功能替代
不支持Metastore listener
建议使用阿里云操作审计API,实现对元数据操作的监听和管理。
不支持Hive LLAP
建议使用Presto/Spark等引擎替代
目前DLF不支持与自建的Hadoop集群集成,如需使用数据湖请选择阿里云E-MapReduce集群。
文档内容是否对您有帮助?