本文将介绍如何在DataWorks的镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,旨在帮助您更迅速地构建开发环境,避免在开发过程中与其他环境版本产生冲突。
前提条件
已创建MaxCompute数据源,并将其绑定至DataWorks目标工作空间。详情请参见绑定数据源或集群。
已创建新版独享资源组。详情请参见新增和使用Serverless资源组。
操作步骤
步骤一:创建自定义镜像
登录DataWorks控制台,切换至DataWorks工作空间所在地域后,单击左侧导航栏的镜像管理。
在自定义镜像页签,单击创建镜像。
在创建自定义镜像时,配置相关参数,其中需重点关注以下参数。
参数
说明
镜像名称/ID
DataWorks PYODPS节点官方镜像。本文需选择
dataworks_pyodps_task_pod:pod_20240731(System_pyodps_20240731
)。支持任务类型
DataWorks PYODPS节点官方镜像。本文需选择PyODPS 3。
安装包
下拉选择Script。通过Script命令框手动输入MaxFrame安装命令,若已安装则会对其升级到最新版本。代码如下。
/home/tops/bin/pip3 install --upgrade maxframe pyarrow
更多详情操作,请参见创建自定义镜像。
步骤二:发布镜像
在自定义镜像页签,单击上述创建的自定义镜像操作列中的发布,在发布镜像面板进行测试。详情请参见发布镜像。
说明只有测试成功的镜像才支持发布。
测试成功后,单击发布。
步骤三:修改镜像归属空间
在自定义镜像页签,查看并找到已发布的自定义镜像。
在目标镜像操作列单击
,为自定义镜像绑定归属工作空间。
步骤四:使用镜像
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在数据开发功能中找到待测试自定义镜像的任务节点,单击右侧调度配置,配置资源属性:
调度资源组:选择Serverless资源组。
说明为确保任务节点顺利运行,请确保调度资源组与发布镜像时选择的测试资源组一致。
镜像:选择已发布并绑定了当前工作空间的自定义镜像。
保存并提交修改。
说明数据开发中修改的镜像不会同步到生产环境中,您需要通过发布任务将任务发布后,才能在生产环境中生效。