管理文件

更新时间:
复制为 MD 格式

在执行任务前,可通过上传所需的文件、JAR包等资源,或加载文件目录至EMR Serverless Spark,以确保任务运行时可以无缝地访问所需资源。

背景信息

  • 托管文件目录:通过界面直接上传本地文件到指定的存储空间,并在任务运行时直接访问这些文件。

  • 纳管文件目录:将OSS、NAS作为文件系统挂载到Notebook会话资源、数据开发任务中,直接访问纳管文件目录的文件。

使用限制

  • 在使用托管文件目录功能时,单次上传的文件大小不得超过 500MB。

  • 单工作空间最多支持添加10个纳管文件目录。

  • 通过Livy Gateway、Kyuubi Gateway提交的任务暂不支持挂载纳管文件目录。

托管文件目录

上传文件

  1. 进入资源上传页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间的名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的文件管理

  2. 托管文件目录页面,单击上传文件

  3. 上传文件对话框中,单击待上传文件区域选择本地文件,或者直接拖拽目标文件到待上传文件区域。

管理文件及文件夹

托管文件目录页面,您可以对已有的文件及文件夹进行以下操作:

  • 文件:

    • 下载文件:将文件下载到本地。

    • 复制地址:获取文件的访问路径。

    • 删除:删除文件。

  • 文件夹:您可以进行新建文件夹重命名删除操作。

纳管文件目录

说明

在添加纳管文件目录后,具有工作空间文件编辑权限的成员可以通过文件管理界面对纳管OSS文件目录的文件及文件夹进行编辑;而拥有数据开发相关权限的成员则可以通过数据开发任务进行文件及文件夹的读写操作。

新增文件目录

  1. 纳管文件目录页面,单击新增文件目录

  2. 创建文件目录对话框中,配置以下信息,单击确定

    OSS

    OSS配置参数如下。

    参数

    说明

    文件目录名称

    文件目录的名称。

    OSS 路径

    选择有权限的OSS存储路径。需要确保工作空间执行角色具有访问该路径的权限。

    挂载路径

    支持自定义修改,但必须位于/mnt路径下。

    通用型 NAS

    通用型NAS配置参数如下。

    参数

    说明

    文件目录名称

    文件目录的名称。

    文件系统

    选择有权限的通用型NAS。需要确保工作空间执行角色具有访问该NAS的权限。

    挂载点

    配置挂载点来访问NAS文件系统。

    文件系统路径

    配置NAS中已有的存储路径。不填写时,默认挂载根目录。

    挂载路径

    支持自定义修改,但必须位于/nas路径下。

删除文件目录

在删除文件目录时,仅仅是解除工作空间文件目录与OSS、NAS之间的关联关系,而并不会删除该OSS、NAS下的文件。

  1. 纳管文件目录页面,单击操作列的删除。

  2. 单击确定

后续操作

  • 托管文件目录:在资源上传完成后,您可以在后续的任务开发中将已上传的文件作为依赖项或输入数据源来调用。

  • 纳管文件目录:在完成纳管后,您可以在后续的Notebook会话配置、数据开发任务配置中挂载纳管文件目录。