竞价实例

什么是竞价实例

AnalyticDB for MySQL资源池中会有一些闲置的Spark Executor资源，资源会以折扣的方式进行售卖，这些资源也被称为竞价实例（抢占式实例）。

竞价实例资源与ACU弹性资源有以下区别：

• 竞价实例资源费用比ACU弹性资源的费用更低，大约是ACU弹性资源费用的7折左右。

• 当您在已开启竞价实例功能的Job型资源组中提交Spark作业时，集群会优先抢占闲置、低价的竞价实例资源，若抢占成功，该Spark作业在执行时会使用竞价实例资源，并按照竞价实例资源计费；若抢占失败，该Spark作业会使用ACU弹性资源，按照ACU弹性资源计费。

• 阿里云为AnalyticDB for MySQL竞价实例默认提供一小时保护期，保证在一小时内竞价实例的资源不会因其他资源抢占而释放。超过竞价实例保护期后，竞价实例的资源可能会被抢占，抢占的概率随资源使用时间增加而增加。

• 使用竞价实例资源执行Spark作业的优先级较低。当其他集群提交了不使用竞价实例资源的Spark作业时，有可能会抢占您的竞价实例资源，导致竞价实例资源释放，进而导致使用竞价实例的Spark作业运行失败。竞价实例释放导致作业失败的概率大约为1%~5%。

应用场景及建议

建议您在以下场景中开启竞价实例功能：

• Spark作业开发。

• 对成本较为敏感。

• 对Spark作业失败的容忍度较高。

• 大部分Spark作业的执行时间在一小时以内。

对于混合型业务（既有执行时间超过一小时的作业，也有执行时间小于一小时的作业）场景，有以下建议：

• 创建两个Job型资源组，其中一个资源组开启竞价实例功能，且在该资源组中仅执行运行时间较短的任务；另一个资源组不开启竞价实例功能，在该资源组中仅执行运行时间较长的作业。

• 创建一个Job型资源组且开启竞价实例功能，在执行Spark作业时，通过配置spark.adb.spotInstance.disabled参数指定该Spark作业不使用竞价实例功能。详情，请参见指定Spark作业不使用竞价实例（可选）。

使用限制

• 仅部分地域支持竞价实例：华北1（青岛）、华北2（北京）、华北3（张家口）、华东1（杭州）、华东2（上海）、华南1（深圳）、华南3（广州）、中国（香港）、日本（东京）、新加坡、美国（硅谷）、美国（弗吉尼亚）、德国（法兰克福）、英国（伦敦）。

• 仅支持为Job型资源组开启竞价实例功能，开启该功能后，并不意味该资源组中所有的资源和所有Spark作业都会使用竞价实例，仅意味该资源组中的Spark作业在执行时会尝试使用竞价实例功能。

• 仅支持Spark作业使用竞价实例功能。

• 仅部分Spark Executor规格支持竞价实例：large和2xlarge。Spark Executor资源规格的详细信息，请参见Spark Executor资源规格。

费用说明

竞价实例资源的费用相较于原本的ACU弹性资源费用有一定的折扣，大约为7折。费用详情，请参见湖仓版（3.0）产品定价。

开启竞价实例

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，在湖仓版（3.0）页签，单击目标集群ID。

2. 在左侧导航栏，单击集群管理>资源管理，单击资源组管理页签。

   为已有Job型资源组开启竞价实例

   1. 单击Job型资源组操作列的修改。

   2. 在弹出的修改资源组面板中，打开竞价实例开关。

   3. 单击确定。

   4. 在资源组对应的竞价实例列查看是否已开启竞价实例功能。

      开启竞价实例功能后，Job型资源组上所运行的Spark作业都会尝试使用竞价实例功能。

   创建Job型资源组时开启竞价实例

   1. 单击资源组列表右上角的新增资源组，并填写资源组信息。

      参数名称	说明
      资源组名称	自定义资源组的名称。输入长度在2~30位，以字母开头，只能包含字母、数字和下划线。
      任务类型	在下拉列表中选择Job，Job型资源组主要适用于高吞吐离线场景，使用按需弹性方式进行计算资源扩容和缩容。
      计算最小资源	最小取值为0 ACU。
      计算最大资源	控制台可设置的计算最大资源为1024 ACU，步长为8 ACU。若您有需求，可提交工单联系技术支持调大资源。
      竞价实例	是否开启竞价实例。 开启竞价实例后，运行在Job型资源组上的Spark作业会尝试使用竞价实例资源。更多信息，请参见竞价实例。

   2. 单击确定，完成新建资源组。

   3. 资源组创建后，在资源组对应的竞价实例列查看是否已开启竞价实例功能。

      开启竞价实例功能后，Job型资源组上所运行的Spark作业都会尝试使用竞价实例功能。

指定Spark作业不使用竞价实例（可选）

若您不希望Spark作业在执行时使用竞价实例功能，可以在Spark作业的CONF参数中配置以下参数：

作业执行成功后，您可以通过查看竞价实例资源使用量，确认配置是否修改成功。如果竞价实例资源使用量为0，则表示提交的Spark作业在执行时未使用竞价实例资源。

查看竞价实例资源使用量

Spark作业执行完成后，您可以在Job型资源组的监控页面查看竞价实例资源的使用量。具体步骤及说明，请参见查看资源组的计算资源用量。

关闭竞价实例

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，在湖仓版（3.0）页签，单击目标集群ID。

2. 在左侧导航栏，单击集群管理>资源管理，单击资源组管理页签。

3. 单击Job型资源组操作列的修改。

4. 在弹出的修改资源组面板中，关闭竞价实例开关。

5. 单击确定。

6. 在资源组对应的竞价实例列查看是否已关闭竞价实例功能。

相关API