Gateway用于部署Livy服务,便于Airflow、Jupyter等工具通过Livy接口向Serverless Spark提交任务。 本文主要为您介绍如何创建Livy Gateway和管理Token。
创建Livy Gateway
进入Gateway页面。
在左侧导航栏,选择
。在Spark页面,单击目标工作空间名称。
在EMR Serverless Spark页面,单击左侧导航栏中的
。
在Livy Gateway页面,单击创建Livy Gateway。
在创建Livy Gateway页面,配置以下信息,单击创建。
参数
说明
名称
新建Gateway的名称。仅支持小写字母、数字、短划线(-),并且开头和结尾必须是字母或者数字。
Livy Gateway资源
默认
1 CPU,4 GB
。Livy版本
默认使用最新版0.8.0。
引擎版本
当前Gateway使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍。
使用Fusion加速
Fusion可加速Spark负载的运行并降低任务的总成本。有关计费信息,请参见产品计费。有关Fusion引擎介绍,请参见Fusion引擎。
关联队列
创建的Gateway将部署在所选队列。通过Gateway提交Spark任务时,将使用Gateway创建者的身份提交任务。
自动停止
默认关闭。
开启该功能后,如果在45分钟内未检测到任何活动,系统将自动停止该Gateway。
认证方式
仅支持Token方式。
在您创建Gateway之后,需要为其生成一个唯一的鉴权Token,以便在之后的请求中使用该Token进行身份验证和访问控制。创建Token的具体操作,请参见管理Token。
管理Token
Token使用时,请在请求的header中添加--header `x-acs-spark-livy-token: token`
。
在Livy Gateway页面,单击目标Gateway操作列的Token管理。
单击创建Token。
在创建Token对话框中,配置以下信息,单击确定。
参数
说明
名称
新建Token的名称。
过期时间
设置该Token的过期时间。设置的天数应大于或等于1。默认情况下为开启状态,365天后过期。
复制Token信息。
重要Token创建完成后,请务必立即复制新Token的信息,后续不支持查看。如果您的Token过期或遗失,请选择新建Token或重置Token。
相关文档
通过Apache Airflow使用Livy接口向EMR Serverless Spark提交任务示例,请参见通过Apache Airflow使用Livy Operator提交任务。