DataWorks官方镜像

镜像名称

镜像说明

适用任务

dataworks_pyodps_py311_task_pod

DataWorks PyODPS节点的官方镜像，该镜像的Python版本为3.11。

PyODPS 3

dataworks_pairec_task_pod

DataWorks PAI-Rec官方镜像，用于运行PAI-Rec生成的算法。feature_store sdk版本和pyfg版本以控制台显示为准。

dataworks_pyodps_task_pod

DataWorks PyODPS节点的官方镜像，该镜像的Python版本为3.7。

PyODPS 2

PyODPS 3

dataworks_emr_base_task_pod

• 包括DataWorks提交EMR任务的基础组件，但没有EMR基础组件的执行环境，无法直接使用，必须通过自定义镜像安装对应EMR集群版本的组件。

• 必须先初始化EMR Gateway环境，需要输入集群类型和版本号，支持CUSTOM和DATALAKE集群类型。

  sh /home/admin/init_emr_component.sh DATALAKE EMR-版本号

  说明

  如果遇到初始化EMR Gateway环境失败的情况，一般是因为部分集群版本不在镜像库中，请提交工单联系平台进行操作。

EMR Spark

EMR Spark SQL

EMR Shell

dataworks_shell_jdk17_task_pod

DataWorks Shell节点的官方镜像，该镜像的JDK版本为JDK17。

Shell

dataworks_shell_task_pod

DataWorks Shell节点的官方镜像，JDK版本为JDK7。若需要自定义运行环境并且该环境支持Subprocess传参，可基于该镜像构建自定义镜像。

dataworks_python_task_pod

DataWorks Python节点的官方镜像，Python版本为3.7。

Python

dataworks_emr_datalake_5.15.1_task_pod

DataWorks为EMR节点开发提供的EMR datalake 5.15.1版本官方镜像。

• EMR Spark

• EMR Spark SQL

• EMR Shell

dataworks_cdh_custom_task_pod

DataWorks CDH集群基础镜像，无法直接使用。必须通过自定义镜像安装CDH parcel后，才可在数据开发中使用。

CDH

dataworks_controller_task_pod

DataWorks赋值节点官方镜像，若需要自定义运行环境并且需要使用赋值节点或赋值参数用于将参数传递到下游节点的场景，请基于该镜像构建自定义镜像。

赋值节点

dataworks-mcp

适用于DataWorks Agent任务开发。相关系统信息：py3.11-ubuntu22.04。

个人开发环境

dataworks-notebook

适用于Notebook开发任务开发。相关系统信息：py3.11-ubuntu22.04。

dataworks-maxcompute

适用于个人开发环境制作MaxCompute镜像。相关系统信息：py3.11-ubuntu20.04。