管理Gateway

Gateway用于部署Livy服务,便于Airflow、Jupyter等工具通过Livy接口向Serverless Spark提交任务。 本文主要为您介绍如何创建Livy Gateway和管理Token

创建Livy Gateway

  1. 进入Gateway页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的运维中心 > Gateway

  2. Livy Gateway页面,单击创建Livy Gateway

  3. 在创建Livy Gateway页面,配置以下信息,单击创建

    参数

    说明

    名称

    新建Gateway的名称。仅支持小写字母、数字、短划线(-),并且开头和结尾必须是字母或者数字。

    Livy Gateway资源

    默认1 CPU,4 GB

    Livy版本

    默认使用最新版0.8.0。

    引擎版本

    当前Gateway使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍

    使用Fusion加速

    Fusion可加速Spark负载的运行并降低任务的总成本。有关计费信息,请参见产品计费。有关Fusion引擎介绍,请参见Fusion引擎

    关联队列

    创建的Gateway将部署在所选队列。通过Gateway提交Spark任务时,将使用Gateway创建者的身份提交任务。

    自动停止

    默认关闭。

    开启该功能后,如果在45分钟内未检测到任何活动,系统将自动停止该Gateway。

    认证方式

    仅支持Token方式。

    在您创建Gateway之后,需要为其生成一个唯一的鉴权Token,以便在之后的请求中使用该Token进行身份验证和访问控制。创建Token的具体操作,请参见管理Token

管理Token

说明

Token使用时,请在请求的header中添加--header `x-acs-spark-livy-token: token`

  1. Livy Gateway页面,单击目标Gateway操作列的Token管理

  2. 单击创建Token

  3. 创建Token对话框中,配置以下信息,单击确定

    参数

    说明

    名称

    新建Token的名称。

    过期时间

    设置该Token的过期时间。设置的天数应大于或等于1。默认情况下为开启状态,365天后过期。

  4. 复制Token信息。

    重要

    Token创建完成后,请务必立即复制新Token的信息,后续不支持查看。如果您的Token过期或遗失,请选择新建Token或重置Token。

相关文档

通过Apache Airflow使用Livy接口向EMR Serverless Spark提交任务示例,请参见通过Apache Airflow使用Livy Operator提交任务