文档

管理Gateway

更新时间:

Gateway类型用于部署Livy服务,便于Airflow、Jupyter等工具通过Livy接口向Serverless Spark提交任务。 本文主要为您介绍如何创建Gateway

创建Gateway

Gateway创建完成后,您可以在创建SQL类型任务时选择此Compute。

  1. 进入Compute页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的Compute

  2. Compute页面,单击Gateway

  3. 单击创建Gateway

  4. 在创建Gateway页面,配置以下信息,单击创建

    参数

    说明

    名称

    新建Gateway Compute的名称。仅支持小写字母、数字、短划线(-),并且开头和结尾必须是字母或者数字。

    Gateway资源

    默认1 CPU,4 GB,不支持修改。

    接口类型

    当前仅支持Livy。

    Livy版本

    默认使用最新版0.8.0。

    引擎版本

    当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍

    关联队列

    创建的Gateway将部署在所选队列。通过Gateway Compute提交Spark任务时,将使用Gateway Compute创建人身份提交任务。

    自动停止

    默认关闭。

    开启该功能后,如果在45分钟内未检测到任何活动,系统将自动停止该Gateway。

    认证方式

    仅支持Token方式。

    在您创建Gateway之后,需要为其生成一个唯一的鉴权Token,以便在之后的请求中使用该Token进行身份验证和访问控制。创建Token的具体操作,请参见管理Token

管理Token

说明

Token使用时,请在请求的header中添加--header `x-acs-spark-livy-token: token`

  1. Gateway页面,单击目标Gateway操作列的Token管理

  2. 单击创建Token

  3. 创建Token对话框中,配置以下信息,单击确定

    参数

    说明

    名称

    新建Token的名称。

    过期时间

    设置该Token的过期时间。设置的天数应大于或等于1。默认情况下为开启状态,365天后过期。

  4. 复制Token信息。

    重要

    Token创建完成后,请务必立即复制新Token的信息,后续不支持查看。如果您的Token过期或遗失,请选择新建Token或重置Token。

相关文档

通过Apache Airflow使用Livy接口向EMR Serverless Spark提交任务示例,请参见通过Apache Airflow使用Livy Operator提交任务