管理文件

更新时间:
复制 MD 格式

在执行任务前,可通过上传所需的文件、JAR包等资源,或加载文件目录至EMR Serverless Spark,以确保任务运行时可以无缝地访问所需资源。

托管文件目录与纳管文件目录

  • 托管文件目录:通过界面直接上传本地文件到指定的存储空间,并在任务运行时直接访问这些文件。

  • 纳管文件目录:将OSS、NAS、CPFS作为文件系统挂载到Notebook会话资源、任务中,直接访问纳管文件目录的文件。

使用限制

托管文件目录

  • 单次上传的文件大小不得超过 500MB。

纳管文件目录

  • 单工作空间最多支持添加10个纳管文件目录。

  • 通过Kyuubi Gateway、Spark集群提交的任务暂不支持挂载纳管文件目录。

  • CPFS类型的纳管文件目录不支持与其他类型(OSS、NAS)的纳管文件目录同时挂载。例如,支持同时挂载多个OSSNAS目录,但不支持OSSCPFS混合挂载。

管理托管文件目录

上传文件

  1. 进入资源上传页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间的名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的文件管理

  2. 托管文件目录页面,单击上传文件

  3. 上传文件对话框中,单击待上传文件区域选择本地文件,或者直接拖拽目标文件到待上传文件区域。

管理文件及文件夹

托管文件目录页面,您可以对已有的文件及文件夹进行以下操作:

  • 文件:

    • 下载文件:将文件下载到本地。

    • 复制地址:获取文件的访问路径。

    • 删除:删除文件。

  • 文件夹:您可以进行新建文件夹重命名删除操作。

管理纳管文件目录

说明

在添加纳管文件目录后,具有工作空间文件编辑权限的成员可以通过文件管理界面对纳管OSS文件目录的文件及文件夹进行编辑;而拥有数据开发相关权限的成员则可以通过数据开发任务进行文件及文件夹的读写操作。

新增文件目录

  1. 进入资源上传页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间的名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的文件管理

  2. 纳管文件目录页面,单击新增文件目录

  3. 创建文件目录对话框中,配置以下信息,单击确定

    OSS

    OSS配置参数如下。

    参数

    说明

    文件目录名称

    文件目录的名称。

    OSS 路径

    选择有权限的OSS存储路径。需要确保工作空间执行角色具有访问该路径的权限。

    挂载路径

    支持自定义修改,但必须位于/mnt路径下。

    通用型 NAS

    通用型NAS配置参数如下。

    参数

    说明

    文件目录名称

    文件目录的名称。

    文件系统

    选择有权限的通用型NAS。需要确保工作空间执行角色具有访问该NAS的权限。

    挂载点

    配置挂载点来访问NAS文件系统。

    文件系统路径

    配置NAS中已有的存储路径。不填写时,默认挂载根目录。

    挂载路径

    支持自定义修改,但必须位于/nas路径下。

    智算版CPFS

    智算版CPFS配置参数如下。

    参数

    说明

    文件目录名称

    文件目录的名称。

    文件系统

    选择有权限的智算版CPFS。需要确保工作空间执行角色具有访问该CPFS的权限。

    挂载点

    配置挂载点来访问CPFS文件系统。

    挂载路径

    支持自定义修改,但必须位于/cpfs路径下。

    只读

    默认关闭,开启后该文件目录只读。

删除文件目录

在删除文件目录时,仅仅是解除工作空间文件目录与OSS、NAS、CPFS之间的关联关系,而并不会删除该OSS、NAS、CPFS下的文件。

  1. 纳管文件目录页面,单击操作列的删除。

  2. 单击确定

后续操作