在DataWorks镜像中安装MaxFrame

更新时间:
复制为 MD 格式

本文介绍在DataWorks镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,快速构建开发环境,同时避免在开发过程中与其他环境的版本冲突。

前提条件

操作步骤

步骤一:创建自定义镜像

  1. 登录DataWorks控制台,单击左侧导航栏上的镜像管理进入镜像管理页面。

  2. 自定义镜像页签下,单击创建镜像。在弹窗中配置关键参数:

    参数

    说明

    镜像名称

    自定义镜像的名称。

    镜像描述

    自定义镜像的说明。

    引用类型

    选择DataWorks官方镜像

    镜像命名空间

    固定为DataWorks Default

    镜像仓库

    固定为DataWorks Default

    镜像名称/ID

    下拉选择DataWorks提供的官方镜像。本文需选择dataworks_pyodps_task_pod:prod_20251201 (System_pyodps_20251201)

    可见范围

    支持配置自定义镜像的可见范围,包括仅创建者可见全员可见

    使用子产品

    当前自定义镜像仅支持用于数据开发

    支持任务类型

    • DataWorks Shell节点官方镜像:支持Shell任务类型。

    • DataWorks PyODPS节点官方镜像:支持PyODPS 2PyODPS 3任务类型。本文需选择PyODPS 3

    • DataWorks EMR datalake 5.15.1版本官方镜像:支持EMR SparkEMR Spark SQLEMR SHELL任务类型。

    安装包

    按需添加需要的第三方包。支持以下方式:

    • 快捷安装:在安装包下拉选择框选择Python2Python3Yum,可以直接选择需要安装的环境、资源。

      若下拉列表中没有需要的第三方包,切换至Script模式手动安装。
    • 手动输入:在安装包下拉选择框选择Script。可通过Script命令框手动输入安装命令。您可选择以下手动输入示例命令下载第三方包。

      • pip示例命令:pip install xx,支持Python2使用。

      • pip3示例命令:/home/tops/bin/pip3 install 'urllib3<2.0' ,支持Python3使用。

      • yum示例命令:yum install -y git

      • wget示例命令:wget git

        更多安装命令说明,请参见附录:安装命令参考
    • 本文选择Script。通过Script命令框手动输入MaxFrame安装命令,若已安装则会对其升级到最新版本。代码如下。

      /home/tops/bin/pip3 install --upgrade maxframe
    重要

    若需安装或依赖位于公网的第三方包,则Serverless资源组绑定的VPC具备公网访问能力

    更多详情操作,请参见创建自定义镜像

步骤二:发布镜像

DataWorks控制台的镜像管理 > 自定义镜像页签下,对目标镜像进行发布。只有测试成功的镜像才可以发布。如果测试失败,可在目标自定义镜像的操作列单击image > 修改,修改镜像配置。

测试与发布时,需注意以下内容:

步骤三:修改镜像归属空间

  1. DataWorks控制台的镜像管理 > 自定义镜像页签下,查看并找到已发布的自定义镜像。

  2. 在目标镜像操作列单击image > 修改归属工作空间,为自定义镜像绑定归属工作空间。

步骤四:使用镜像

旧版数据开发使用镜像

  1. 进入数据开发:登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 配置镜像:在数据开发功能中找到待测试自定义镜像的任务节点,单击右侧调度配置,配置资源属性。

    • 调度资源组:选择Serverless资源组

      如果此处未显示目标资源组,请检查是否将该资源组绑定至当前工作空间。您可以前往资源组列表页,找到目标资源组,然后单击操作列的绑定工作空间,完成绑定。
      重要

      为确保任务节点顺利运行,请确保调度资源组发布镜像时选择的测试资源组一致。

    • 镜像:选择已发布的自定义镜像

      若切换镜像,需将节点发布后,才能在生产环境中生效。

      image

  3. 调试节点:在节点顶部工具栏单击带参运行image),配置资源组名称运行CU镜像,然后单击运行

  4. 发布节点:在节点顶部工具栏单击保存提交,将节点发布至生产环境。

新版数据开发使用镜像

  1. 进入数据开发:进入DataWorks工作空间列表页,在顶部切换至目标地域,找到目标工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 配置镜像:在数据开发功能中找到待测试自定义镜像的任务节点,单击右侧调度配置,配置资源属性。

    • 资源组:选择Serverless资源组

      如果此处未显示目标资源组,请检查是否将该资源组绑定至当前工作空间。您可以前往资源组列表页,找到目标资源组,然后单击操作列的绑定工作空间,完成绑定。
      重要

      为确保任务节点顺利运行,请确保资源组发布镜像时选择的测试资源组一致。

    • 镜像:选择已发布的自定义镜像

      若切换镜像,需将节点发布后,才能在生产环境中生效。

      image

  3. 调试节点:在节点右侧调试配置中,配置计算资源资源组计算CU镜像脚本参数,然后在节点顶部工具栏单击运行

  4. 发布节点:在节点顶部工具栏单击发布,将节点发布至生产环境。

关于DataWorks自定义镜像更多详情,请参见自定义镜像