本文介绍湖仓版(3.0)Job型资源组如何启动和停止ThriftServer。

背景信息

AnalyticDB MySQL湖仓版(3.0)支持批处理和交互式执行两种方式的Spark SQL作业开发。Job型资源组默认是批处理方式。如果您需要使用Job型资源组执行交互式查询,需要启动ThriftServer。

已启动ThriftServer的Job型资源组,在执行Spark SQL作业时,都会采用交互式执行。

注意事项

  • 每个Job型资源组只能启动一个ThriftServer。
  • 停止ThriftServer会中断当前所有执行中的SQL和排队中的SQL。请确保暂无执行中和排队中的SQL,或这些SQL中断对业务无影响后,再停止ThriftServer。

启动ThriftServer

  1. 登录云原生数据仓库AnalyticDB MySQL控制台
  2. 在页面左上角,选择集群所在地域。
  3. 湖仓版(3.0)页签中,单击目标集群ID。
  4. 在左侧导航栏,单击集群管理 > 资源组管理
  5. 在资源组列表中,单击目标Job型资源组操作列的高级配置
  6. 高级配置(Spark ThriftServer配置)页面,填写参数配置。
    参数名称 是否必填 说明 对应的配置参数
    Min Executor资源 Spark弹性配置下的最小Executor数量,默认值为0,表示不执行Spark SQL时会释放所有的Executor。

    一个Executor的资源量为2 ACU。

    spark.dynamicAllocation.minExecutors
    Max Executor资源 Spark弹性配置下最大的Executor数量,表示执行Spark SQL时最大拉起的Executor数量,至少配置为1。

    一个Executor的资源量为2 ACU,如果配置过大,超过该Job型资源组计算最大资源限制时,可能引起错误。例如某Job型资源组的最大计算资源为16 ACU,可配置的最大Executor数量为8。

    spark.dynamicAllocation.maxExecutors
    JARS 执行环境需要第三方JAR包的OSS路径。

    如果执行SQL时,需要依赖JAR包,请先将JAR包上传至OSS的存储空间。如何上传文件,请参见上传文件

    spark.jars
    最大连接数 Spark维护的最大的Session数量,每个Session对应一个独立线程,配置过大可能引起OOM错误。 spark.sql.retainedSessions
    其他配置 其他Spark社区配置。详情请参见Spark配置
  7. 单击启动

停止ThriftServer

当需要在启动了ThriftServer的Job型资源组中使用批处理方式执行Spark SQL作业时,需要先停止ThriftServer。

  1. 登录云原生数据仓库AnalyticDB MySQL控制台
  2. 在页面左上角,选择集群所在地域。
  3. 湖仓版(3.0)页签中,单击目标集群ID。
  4. 在左侧导航栏,单击集群管理 > 资源组管理
  5. 资源组管理页面,单击目标Job型资源组操作列的高级配置,并单击停止