在DataWorks镜像中安装MaxFrame

本文将介绍如何在DataWorks的镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,旨在帮助您更迅速地构建开发环境,避免在开发过程中与其他环境版本产生冲突。

前提条件

操作步骤

步骤一:创建自定义镜像

  1. 登录DataWorks控制台,切换至DataWorks工作空间所在地域后,单击左侧导航栏的镜像管理

  2. 自定义镜像页签,单击创建镜像

  3. 在创建自定义镜像时,配置相关参数,其中需重点关注以下参数。

    参数

    说明

    镜像名称/ID

    DataWorks PYODPS节点官方镜像。本文需选择dataworks_pyodps_task_pod:pod_20240731(System_pyodps_20240731)。

    支持任务类型

    DataWorks PYODPS节点官方镜像。本文需选择PyODPS 3

    安装包

    下拉选择Script。通过Script命令框手动输入MaxFrame安装命令,若已安装则会对其升级到最新版本。代码如下。

    /home/tops/bin/pip3 install --upgrade maxframe pyarrow

更多详情操作,请参见创建自定义镜像

步骤二:发布镜

  1. 自定义镜像页签,单击上述创建的自定义镜像操作列中的发布,在发布镜像面板进行测试。详情请参见发布镜像

    说明

    只有测试成功的镜像才支持发布。

  2. 测试成功后,单击发布

步骤三:修改镜像归属空间

  1. 自定义镜像页签,查看并找到已发布的自定义镜像。

  2. 在目标镜像操作列单击image > 修改归属工作空间,为自定义镜像绑定归属工作空间。

    image

步骤四:使用镜像

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 在数据开发功能中找到待测试自定义镜像的任务节点,单击右侧调度配置,配置资源属性:

    • 调度资源组:选择Serverless资源组。

      说明

      为确保任务节点顺利运行,请确保调度资源组发布镜像时选择的测试资源组一致。

    • 镜像:选择已发布并绑定了当前工作空间的自定义镜像。

    image

  3. 保存并提交修改。

    说明

    数据开发中修改的镜像不会同步到生产环境中,您需要通过发布任务将任务发布后,才能在生产环境中生效。