文档

为什么已使用的Dataphin数据处理单元会超过已购买的可用上限?

更新时间:
一键部署

内容摘要:短时间内多次执行批量发布操作,有较小概率会造成已使用的数据处理单元数超过已购买的可用上限

问题描述

为什么已使用的Dataphin数据处理单元会超过已购买的可用上限?

原因说明

Dataphin中,仅已经发布到生产环境的任务或表会占用数据处理单元。

在【发布】页面执行发布操作时,针对数据处理单元会进行如下2次校验:

  • 批量预检:在进入发布条件检查之前,首先会预检本次选中的全部对象发布成功后,是否会超过已购买可用的数据处理单元上限。如果超过则无法执行发布,需要进行系统扩容、下线生产环境已经无用的任务、或减少需要发布的对象数量。
  • 单个对象发布过程中的售卖检查:批量预检通过后,执行单个对象的发布检查时,会在“变更管控校验、权限校验”等步骤通过后,再次对当前对象发布后是否会超过已购买可用的数据处理单元上限;检查通过即进入“发布执行”环节,并在发布成功后更新已使用的数据处理单元数。

由于发布执行成功后才会更新已使用的数据处理单元数,因此对于已存在对象发布执行中同时又提交新的对象发布、或短时间内高频执行批量发布操作的情况,有一定概率会导致最终已使用的数据处理单元会超过已购买的可用上限,但是超过后无法再继续提交新的对象。

如:

  • 剩余可用的数据处理单元数为1,提交任务A的发布,售卖检查通过并进入发布执行阶段
  • 在A发布执行结束前提交任务B的发布,此时任务B的售卖检查也会通过(A未发布成功,可用数据处理单元数仍为1),并进入发布执行阶段
  • A和B都发布成功后,已使用的数据处理单元数+2,超过系统剩余可用上限1
  • 再次发布任务C,预检不通过,提示无剩余可用数据处理单元

提示:为了保证开发使用体验,Dataphin会优先保证所有数据处理单元都可使用。如果发布完成后发现已经超过了购买的可用数据处理单元,建议尽快联系管理员进行扩容或整治生产环境无效任务释放资源哦。

 

更多信息

查看资源使用情况

适用于

  • Dataphin
  • 本页导读
文档反馈