作业运行常见问题

本文为您介绍MaxCompute作业运行过程中的常见问题。

作业运行时长不达预期(作业运行慢),通常由什么原因导致,如何解决?

导致MaxCompute作业运行时长不达预期(作业运行慢)的原因通常可分为资源不足、作业问题、模式回退三种:

  • 资源不足

    • 对于使用包年包月计算资源的作业,可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待情况,进而表现出作业运行慢。建议您前往资源观测查看资源消耗情况,若发现资源使用量持续触达可用资源上限,应及时进入作业运维优化任务执行情况,或进行计算资源变配

    • 对于使用按量付费标准版计算资源的作业,您需知晓,按量付费资源池为共享型,计算作业按需抢占资源,不可指定用量,若瞬时作业过多,存在因多用户抢占而无法满足请求资源量的情况,可能导致返回结果较慢。

    • 对于使用按量付费闲时版计算资源的作业,您需知晓,闲时计算资源池与按量付费标准版计算资源共享,不可指定用量,如遇整体资源池资源水位高,发生资源竞争时,Spot作业资源可能会被挤压或者抢占,甚至作业被终止。

  • 作业问题

    作业问题主要指由于作业本身导致的数据倾斜,UDF执行低效,数据膨胀等。SQL作业可以通过Logview进行具体问题定位,定位方法请参见分析运行慢作业。优化方法请参见计算优化最佳实践

  • 模式回退

    MaxCompute作业运行的模式有查询加速模式和普通模式。对于数据量大、且不需要返回查询结果的作业,只能使用普通模式,因此在资源和作业都正常的情况下,作业运行时长通常不会出现较大波动。

    而对于数据量较小的交互式查询作业,通常会命中查询加速模式运行,该模式下的作业执行速度比普通作业快。而MaxCompute并不保证作业每次都能命中查询加速,因此可能出现查询加速作业回退至普通作业,而导致作业运行时长不达先前预期的情况。