本文介绍在DataWorks镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,快速构建开发环境,同时避免在开发过程中与其他环境的版本冲突。
前提条件
已创建MaxCompute数据源,并将其绑定至DataWorks目标工作空间。详情请参见绑定数据源或集群。
已创建新版独享资源组。详情请参见使用Serverless资源组。
操作步骤
步骤一:创建自定义镜像
登录DataWorks控制台,单击左侧导航栏上的镜像管理进入镜像管理页面。
在自定义镜像页签下,单击创建镜像。在弹窗中配置关键参数:
参数
说明
镜像名称
自定义镜像的名称。
镜像描述
自定义镜像的说明。
引用类型
选择DataWorks官方镜像。
镜像命名空间
固定为DataWorks Default。
镜像仓库
固定为DataWorks Default。
镜像名称/ID
下拉选择DataWorks提供的官方镜像。本文需选择
dataworks_pyodps_task_pod:prod_20251201 (System_pyodps_20251201)。可见范围
支持配置自定义镜像的可见范围,包括仅创建者可见和全员可见。
使用子产品
当前自定义镜像仅支持用于数据开发。
支持任务类型
DataWorks Shell节点官方镜像:支持
Shell任务类型。DataWorks PyODPS节点官方镜像:支持
PyODPS 2和PyODPS 3任务类型。本文需选择PyODPS 3。DataWorks EMR datalake 5.15.1版本官方镜像:支持
EMR Spark、EMR Spark SQL和EMR SHELL任务类型。
安装包
按需添加需要的第三方包。支持以下方式:
-
快捷安装:在安装包下拉选择框选择
Python2、Python3、Yum,可以直接选择需要安装的环境、资源。若下拉列表中没有需要的第三方包,切换至Script模式手动安装。
-
手动输入:在安装包下拉选择框选择
Script。可通过Script命令框手动输入安装命令。您可选择以下手动输入示例命令下载第三方包。-
pip示例命令:
pip install xx,支持Python2使用。 -
pip3示例命令:
/home/tops/bin/pip3 install 'urllib3<2.0',支持Python3使用。 -
yum示例命令:
yum install -y git。 -
wget示例命令:
wget git。更多安装命令说明,请参见附录:安装命令参考。
-
本文选择Script。通过Script命令框手动输入MaxFrame安装命令,若已安装则会对其升级到最新版本。代码如下。
/home/tops/bin/pip3 install --upgrade maxframe
重要若需安装或依赖位于公网的第三方包,则Serverless资源组绑定的VPC需具备公网访问能力。
更多详情操作,请参见创建自定义镜像。
步骤二:发布镜像
在DataWorks控制台的页签下,对目标镜像进行发布。只有测试成功的镜像才可以发布。如果测试失败,可在目标自定义镜像的操作列单击,修改镜像配置。
具体操作步骤如下:
-
在页签下,在目标镜像操作列单击发布,打开发布镜像对话框。
-
配置测试参数后单击测试,启动镜像测试。
参数
说明
测试资源组
选择用于测试的Serverless资源组。
测试CU
为本次测试分配的计算资源量,默认0.5 CU,最小0.25 CU。如镜像较大或测试长时间不通过,可适当调高 CU 后重试。
-
查看测试结果与测试日志。
-
测试启动后,测试结果显示为测试中,您可单击刷新刷新最新状态,或单击取消测试提前终止本轮测试,终止后可重新选择资源组与 CU 重测。
-
测试日志区会实时输出镜像构建过程的命令行日志,提供以下操作能力:最大化(全屏查看长日志)、复制(一键复制日志全文到剪贴板)、下载(下载为
image-test-log-<镜像ID>.log)、折叠/展开。 -
测试失败时,测试结果显示为测试失败,并自动展示 AI 诊断面板。系统会基于测试日志、镜像层信息等给出失败原因与修复建议,您可参考诊断结论调整镜像配置或安装命令后单击再次测试重新测试。
-
测试成功后,测试结果显示为测试成功。如需变更测试条件再次验证,可单击再次测试。
-
-
在测试通过的前提下,单击对话框底部的发布提交发布。发布成功后,镜像可被 DataWorks 任务节点引用。
说明仅在测试结果为测试成功或发布失败时,发布按钮可用;其余状态(如测试中、测试失败、已发布)下按钮置灰。
测试与发布时,需注意以下内容:
-
测试自定义镜像时,资源组请选择Serverless资源组。
-
如果您基于阿里云ACR镜像创建或基于个人开发环境制作镜像,则需确保测试与发布时选择的Serverless资源组绑定的VPC需与阿里云镜像容器内绑定的VPC一致。
-
如果您配置的自定义镜像是从公网获取第三方包,且长时间测试不通过,请检查测试资源组绑定的VPC是否具备公网访问能力。
-
若在镜像测试或发布过程中出现构建失败(例如发布状态显示为已发布(构建失败)),控制台可能仅提示构建失败而不展示详细原因,自助排查难度较大。一种常见情形为构建环境磁盘空间不足:构建阶段所需磁盘空间可能略高于测试阶段,因此测试仍可能通过,而在发布或生成镜像产物时失败。建议您在测试与发布镜像时,适当调高计算 CU(例如在原有基础上增加0.5 CU)后重试。若调高后仍未成功,请提交工单联系阿里云技术支持协助排查。
步骤三:修改镜像归属空间
-
在DataWorks控制台的页签下,查看并找到已发布的自定义镜像。
-
在目标镜像操作列单击,为自定义镜像绑定归属工作空间。
步骤四:使用镜像
旧版数据开发使用镜像
-
进入数据开发:登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据开发。
-
配置镜像:在数据开发功能中找到待测试自定义镜像的任务节点,单击右侧调度配置,配置资源属性。
-
调度资源组:选择Serverless资源组。
如果此处未显示目标资源组,请检查是否将该资源组绑定至当前工作空间。您可以前往资源组列表页,找到目标资源组,然后单击操作列的绑定工作空间,完成绑定。
重要为确保任务节点顺利运行,请确保调度资源组与发布镜像时选择的测试资源组一致。
-
镜像:选择已发布的自定义镜像。
若切换镜像,需将节点发布后,才能在生产环境中生效。
-
-
调试节点:在节点顶部工具栏单击带参运行(
),配置资源组名称、运行CU、镜像,然后单击运行。 -
发布节点:在节点顶部工具栏单击保存并提交,将节点发布至生产环境。
新版数据开发使用镜像
-
进入数据开发:进入DataWorks工作空间列表页,在顶部切换至目标地域,找到目标工作空间,单击操作列的,进入Data Studio。
-
配置镜像:在数据开发功能中找到待测试自定义镜像的任务节点,单击右侧调度配置,配置资源属性。
-
资源组:选择Serverless资源组。
如果此处未显示目标资源组,请检查是否将该资源组绑定至当前工作空间。您可以前往资源组列表页,找到目标资源组,然后单击操作列的绑定工作空间,完成绑定。
重要为确保任务节点顺利运行,请确保资源组与发布镜像时选择的测试资源组一致。
-
镜像:选择已发布的自定义镜像。
若切换镜像,需将节点发布后,才能在生产环境中生效。
在调度配置 > 调度策略面板底部,配置资源组和计算CU(例如 0.5),并在镜像下拉框中完成选择。
-
-
调试节点:在节点右侧运行配置中,配置计算资源、资源组、计算 CU、镜像和脚本参数,然后在节点顶部工具栏单击运行。
-
发布节点:在节点顶部工具栏单击发布,将节点发布至生产环境。
关于DataWorks自定义镜像更多详情,请参见自定义镜像。
> 修改归属工作空间