文档

启停ThriftServer

更新时间:

AnalyticDB for MySQL湖仓版(3.0)Job型资源组默认使用批处理方式执行Spark SQL,如果您想要使用Job型资源组执行交互式查询,则需要启动ThriftServer。启动ThriftServer后,可以在同一资源组内并发执行多个交互式查询,提升查询效率。本文介绍湖仓版(3.0)Job型资源组如何启动和停止ThriftServer。

注意事项

  • 每个Job型资源组只能启动一个ThriftServer。

  • 已启动ThriftServer的Job型资源组,在执行Spark SQL作业时,都会采用交互式执行。

  • 停止ThriftServer会中断当前所有执行中的SQL和排队中的SQL。请确保暂无执行中和排队中的SQL,或这些SQL中断对业务无影响后,再停止ThriftServer。

启动ThriftServer

  1. 登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在湖仓版(3.0)页签,单击目标集群ID。

  2. 在左侧导航栏,单击集群管理>资源管理,单击资源组管理页签。

  3. 在资源组列表中,单击目标Job型资源组操作列的ThriftServer配置

  4. ThriftServer配置页面,填写参数配置。

    参数名称

    是否必填

    说明

    对应的配置参数

    Min Executor个数

    Spark弹性配置下的最小Executor数量,默认值为0,表示不执行Spark SQL时会释放所有的Executor。

    一个Executor的资源量为2 ACU。

    spark.dynamicAllocation.minExecutors

    Max Executor个数

    Spark弹性配置下最大的Executor数量,表示执行Spark SQL时最大拉起的Executor数量,至少配置为1。

    一个Executor的资源量为2 ACU,如果配置过大,超过该Job型资源组计算最大资源限制时,可能引起错误。例如某Job型资源组的最大计算资源为16 ACU,可配置的最大Executor数量为8。

    spark.dynamicAllocation.maxExecutors

    JARS

    执行环境需要第三方JAR包的OSS路径。

    如果执行SQL时,需要依赖JAR包,请先将JAR包上传至OSS的存储空间。如何上传文件,请参见控制台上传文件

    spark.jars

    最大连接数

    Spark维护的最大的Session数量,每个Session对应一个独立线程,配置过大可能引起OOM错误。

    spark.sql.retainedSessions

    其他配置

    其他Spark配置。详情请参见Conf配置参数Spark配置

  5. 单击启动

停止ThriftServer

当需要在启动了ThriftServer的Job型资源组中使用批处理方式执行Spark SQL作业时,需要先停止ThriftServer。

  1. 登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在湖仓版(3.0)页签,单击目标集群ID。

  2. 在左侧导航栏,单击集群管理>资源管理,单击资源组管理页签。

  3. 在资源组列表中,单击目标Job型资源组操作列的ThriftServer配置

  4. ThriftServer配置页面,单击停止

  • 本页导读 (1)
文档反馈