为Livy Gateway配置并启用Ranger鉴权

步骤一：网络准备

在开始配置之前，必须先设置好网络，确保Serverless Spark可以与您的虚拟私有云（VPC）之间网络互通，使得Ranger Plugin能够顺利连接到您的Ranger Admin服务并获取权限信息。具体操作，请参见EMR Serverless Spark与其他VPC间网络互通。

步骤二：配置Ranger Plugin

对于希望开启Ranger鉴权功能的Livy Gateway，需首先停止该Gateway，配置以下信息。

1. 在网络连接下拉列表中选择已创建的连接名称。

2. 在livy.conf中添加以下配置项。

   livy.impersonation.enabled   true

3. 在spark-defaults.conf中添加以下配置项。

   spark.ranger.plugin.enabled                true
   spark.emr.serverless.user.defined.jars     /opt/ranger/ranger-spark.jar
   ranger.plugin.spark.policy.rest.url        http://<ranger_admin_ip>:<ranger_admin_port>

   涉及参数如下所示。

   参数	说明
   spark.ranger.plugin.enabled	设置为true表示开启Ranger鉴权。
   spark.emr.serverless.user.defined.jars	自定义JAR包路径。 配置为/opt/ranger/ranger-spark.jar，表示使用Serverless Spark中内置的Ranger Plugin。
   ranger.plugin.spark.policy.rest.url	Ranger Admin服务的地址。格式为http://<ranger_admin_ip>:<ranger_admin_port>。 请根据您的实际情况替换<ranger_admin_ip>和<ranger_admin_port>，填写为Ranger Admin服务的内网IP地址和端口。如果您连接的是阿里云EMR on ECS集群的Ranger服务，<ranger_admin_ip>可填写为Master节点的内网IP地址，<ranger_admin_port>为6080。

4. 编辑完成后，请务必重新启动会话，以确保配置更改生效。

步骤三：（可选）配置Ranger Audit

Ranger支持配置Audit的存储方式，例如Solr、HDFS等。Serverless Spark默认未开启Ranger Audit功能，若您有对应需求可以自行在Spark配置中增加Ranger Audit相关参数。

例如，配置连接EMR的Solr可以在Spark配置中增加以下配置信息。

xasecure.audit.is.enabled                  true
xasecure.audit.destination.solr            true
xasecure.audit.destination.solr.urls       http://<solr_ip>:<solr_port>/solr/ranger_audits
xasecure.audit.destination.solr.user       <user>
xasecure.audit.destination.solr.password   <password>

参数说明如下：

• xasecure.audit.is.enabled：是否开启Ranger Audit。

• xasecure.audit.destination.solr：是否将Audit存储到Solr服务当中。

• xasecure.audit.destination.solr.urls：Solr服务的URL信息。其中<solr_ip>和<solr_port>需要配置Solr服务的IP地址和端口信息，其他URL信息应根据实际需求填写。

• xasecure.audit.destination.solr.user和xasecure.audit.destination.solr.password：若Solr服务开启了Basic认证，需要填写对应用户名和密码信息。

  如果您连接的是EMR on ECS中的Ranger，则可以在Ranger-plugin服务的ranger-spark-audit.xml配置文件中查找xasecure.audit.destination.solr.urls、xasecure.audit.destination.solr.user和xasecure.audit.destination.solr.password的配置。

  

配置成功后，若您在EMR Serverless Spark上提交了任务，则可以访问Ranger UI，并在Ranger Audit的Access标签页查看用户访问的审计信息。访问Ranger UI详情，请参见通过控制台访问开源组件Web界面。

步骤四：连接测试

使用Jupyter Notebook进行连接测试，如果访问没有权限的数据库、表等资源，将会提示权限不足（Permission denied）的信息。