计算引擎访问DLF如何实现精细化访问控制

步骤一：为 Flink 服务角色授予 DLF 权限

1. 使用阿里云账号或 RAM 管理员登录 RAM 控制台。

2. 单击身份管理 > 角色，查询 AliyunStreamAsiDefaultRole 角色。

3. 单击操作列的新增授权，查询并勾选 AliyunDLFFullAccess，单击确认新增授权。

步骤二：在 DLF 中授予数据权限

1. 登录数据湖构建控制台。

2. 进入目标 Catalog，切换到权限页签，单击授权。

3. 选择 RAM 用户/RAM 角色，在下拉列表中选择 AliyunStreamAsiDefaultRole。

4. 根据需求授予相应的数据权限（如 Data Reader、Data Editor 或自定义权限）。

步骤三：将 Flink 所在 VPC 添加至 DLF 可信列表

1. 在左侧导航栏中，单击系统和安全 > 系统安全 > 新增 VPC ID。

2. 在弹出的对话框中，选择一个或多个需要设为可信的 VPC，然后单击确定。

详情请参见可信VPC配置。

步骤四：在 Flink 中创建 DLF Catalog

方式一：通过 UI 创建

1. 登录 实时计算控制台，进入目标工作空间。

2. 在左侧导航栏，单击数据管理。

3. 在 Catalog 列表页，单击创建 Catalog，选择对应的类型。

方式二：通过 SQL 创建

在数据查询文本编辑区域，输入以下 SQL 并执行：

CREATE CATALOG `flink_catalog_name`
WITH (
  'type' = 'paimon',
  'metastore' = 'rest',
  'token.provider' = 'dlf',
  'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
  'warehouse' = 'dlf_test'
);

CREATE CATALOG `flink_catalog_name`
WITH (
  'type' = 'iceberg',
  'catalog-type' = 'rest',
  'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg',
  'warehouse' = 'iceberg_test',
  'rest.signing-region' = 'cn-hangzhou',
  'io-impl' = 'org.apache.iceberg.rest.DlfFileIO'
);

步骤一：为 RAM 用户授予控制台权限

1. 使用阿里云账号或 RAM 管理员登录 RAM 控制台。

2. 创建一个新的 RAM 用户或选择已有 RAM 用户。

   注意：该 RAM 用户的名称需符合 StarRocks 的用户命名规则，即只包含字母、数字、下划线，不能包含短横线、句号。

3. 为该 RAM 用户添加以下权限策略：

   • EMR 控制台权限：添加 AliyunEMRStarRocksFullAccess（管理员）或 AliyunEMRStarRocksReadOnlyAccess（只读），使其可以访问 EMR StarRocks 控制台。

   • DLF API 权限：添加 AliyunDLFFullAccess 或自定义的 DLF 权限策略，使其可以调用 DLF 接口。

详情请参见EMR Serverless StarRocks为RAM用户授权。

步骤二：在 DLF 中授予数据权限

1. 登录数据湖构建控制台。

2. 进入目标 Catalog，切换到权限页签，单击授权。

3. 选择上一步的 RAM 用户，根据需求授予相应的数据权限（如 Data Reader、Data Editor 或自定义权限）。

步骤三：在 StarRocks 中创建 RAM 同名用户

1. 登录 EMR Serverless StarRocks 控制台，连接 StarRocks 实例。

2. 在 安全中心 > 用户管理 中，单击添加用户：

   • 用户来源：选择 RAM 用户。

   • 用户名：选择步骤一中授权的 RAM 用户。

   • 密码：自定义（长度 8~30 个字符，须同时包含大写字母、小写字母、数字及特殊符号）。

   • 角色：默认 public 即可。

3. 为该用户授予 External Catalog 的 USAGE 权限。在用户管理页面，单击目标用户操作列的授权，在添加权限面板中选择数据目录（外部），授予 USAGE 权限。

详情请参见Serverless StarRocks用户管理。

步骤四：创建 External Catalog 连接 DLF

使用该 RAM 用户登录 StarRocks Manager，执行以下 SQL 创建 External Catalog：

CREATE EXTERNAL CATALOG `paimon_catalog`
PROPERTIES (
  'type' = 'paimon',
  'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
  'paimon.catalog.type' = 'rest',
  'paimon.catalog.warehouse' = 'my_catalog',
  'token.provider' = 'dlf'
 );

CREATE EXTERNAL CATALOG iceberg_catalog
PROPERTIES ( 
    'type' = 'iceberg',
    'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg',
    'iceberg.catalog.type' = 'dlf_rest',
    'warehouse' = 'iceberg_test',
    'rest.signing-region' = 'cn-hangzhou'
);

步骤一：为 RAM 用户授予控制台权限

1. 使用阿里云账号或 RAM 管理员登录 RAM 控制台。

2. 为 RAM 用户添加以下权限策略：

   • EMR 控制台权限：添加 AliyunEMRServerlessSparkFullAccess（管理员）、AliyunEMRServerlessSparkDeveloperAccess（开发者）或 AliyunEMRServerlessSparkReadOnlyAccess（只读）。

   • DLF API 权限：添加 AliyunDLFFullAccess 或自定义的 DLF 权限策略。

详情请参见 RAM用户授权。

步骤二：在 DLF 中授予数据权限

1. 登录数据湖构建控制台。

2. 进入目标 Catalog，为 RAM 用户或工作空间关联的 RAM 角色授予相应的数据权限（如 Data Reader、Data Editor 或自定义权限）。

步骤三：绑定 DLF Catalog 到 Spark 工作空间

方式一：新建工作空间时绑定

创建 Serverless Spark 工作空间时，开启 DLF 作为元数据服务，并选择目标 DLF Catalog。

方式二：在已有工作空间中绑定

进入 Serverless Spark 工作空间的数据目录页面，添加目标 DLF Catalog。详情请参见管理数据目录。

绑定 DLF Catalog 后，Livy Gateway 和 Kyuubi Gateway 原生支持其默认数据目录。

工作原理

1. 令牌生成：为指定的 RAM 用户在 Kyuubi Gateway 中生成一个有时效性的 Token，该 Token 与 RAM 用户身份唯一绑定。

2. 客户端认证：客户端（如 Beeline）在 JDBC 连接中携带 Token 和 RAM 用户名，向 Kyuubi Gateway 发起连接。

3. 身份代理：Kyuubi Gateway 验证 Token 后，Spark 引擎将代理（Impersonate）该 RAM 用户的身份。

4. DLF 鉴权：Spark 引擎以代理的 RAM 用户身份向 DLF 发起请求，DLF 根据该用户的权限策略进行鉴权。

配置步骤

1. 为每个需要独立权限的 RAM 用户在 DLF 中授予对应的表级/列级数据权限。

2. 在 Kyuubi Gateway 的 Token 管理页面，为每个 RAM 用户创建 Token。

3. 客户端使用对应的 Token 连接 Kyuubi Gateway：

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;user=<RAM用户名>;httpPath=cliservice/token/<Token>"

验证权限隔离效果

• 查询已授权的表：SELECT * FROM db.authorized_table LIMIT 10; — 成功返回数据。

• 查询未授权的表：SELECT * FROM db.unauthorized_table LIMIT 10; — 返回权限错误，如 emr_test doesn't have privilege SELECT on TABLE。

详情请参见 通过Kyuubi Token对DLF数据的权限管控。

步骤一至步骤三

与场景二相同，完成 RAM 权限配置、DLF 数据权限授予和 Catalog 绑定。

步骤四：通过 PVFS 访问文件

在 Notebook 或 PySpark 中使用 pvfs:// 路径访问 DLF 管理的文件：

df = spark.read.option("delimiter", ",").option("header", True) \
    .csv("pvfs://<catalog_name>/default/object_table/employee.csv")
df.show(5)

步骤一：为 ECS 角色授予 RAM 权限

1. 登录 RAM 控制台。

2. 查询 AliyunECSInstanceForEMRRole 角色。

3. 为该角色添加 AliyunDLFFullAccess 权限策略。

步骤二：在 DLF 中为 ECS 角色授予数据权限

1. 登录数据湖构建控制台。

2. 进入目标 Catalog 的权限页签，单击授权。

3. 选择 RAM 用户/RAM 角色，在下拉列表中选择 AliyunECSInstanceForEMRRole。

4. 选择预置权限类型（Data Reader / Data Editor）或自定义权限。

如果下拉列表中未找到 AliyunECSInstanceForEMRRole，可在用户管理页面单击同步。

步骤三：依赖升级

需升级 Paimon 依赖到 1.1+ 版本，下载升级包及部署操作详情请参见

• EMR on ECS Spark以Paimon REST访问DLF

• EMR on ECS Spark以Iceberg REST访问DLF