自定义镜像

适用范围

• 版本限制：

  • 所有版本均可创建和使用自定义镜像。

  • 仅专业版及以上版本支持镜像构建能力。

• 资源组限制：镜像功能仅支持Serverless资源组。

  旧版资源组请使用运维助手安装外部依赖。

• 权限限制：拥有AliyunDataWorksFullAccess或ModifyResourceGroup权限策略。

  授权详情请参见产品及控制台权限控制详情：RAM Policy。

配额与限制

• 镜像数量：不同DataWorks版本，支持创建的自定义镜像数量上限不同。

  • 基础版和标准版：10个。

  • 专业版：50个。

  • 企业版：100个。

• 构建并发：每个地域最多支持 2 个镜像同时进行构建。

• ACR 镜像要求：

  • 实例版本：仅支持企业版的阿里云ACR实例。

  • 实例架构：仅支持AMD64架构。

  • 镜像大小：单个镜像大小不能超过5GB。

  • 时区配置：需要安装时区相关的基础包tzdata，避免因与DataWorks设置的时区不一致导致容器异常退出。

• 镜像构建：仅支持基于 DataWorks 官方镜像创建的自定义镜像。引用阿里云 ACR 镜像创建的自定义镜像不支持持久化构建，每次运行任务时均需重新拉取和部署。

• 支持的节点类型与对应方式：

  节点类型	直接基于官方镜像构建	引用ACR镜像构建
  PyODPS2	支持	不支持
  PyODPS3	支持	不支持
  EMR Spark	支持	不支持
  EMR Spark SQL	支持	不支持
  EMR SHELL	支持	不支持
  Shell	支持	支持
  Python	支持	支持
  Notebook	不支持	支持
  CDH	支持	不支持
  赋值节点	支持	不支持

操作流程

计费说明

构建镜像会按照CU数量 × 构建时长收取计算费用，系统默认分配0.5CU。计费详情，请参见Serverless资源组计费标准。

应用于生产

为确保在生产环境中稳定、高效、经济地使用自定义镜像，请参考以下建议。

• 持久化镜像：建议对已发布且配置稳定的镜像进行镜像构建，形成持久化镜像。这样可避免任务每次运行时都重新安装依赖，从而缩短启动时间、降低计算成本并提高稳定性。

• 环境一致性：确保用于测试、构建和生产调度的Serverless 资源组所绑定的VPC和网络配置一致，尤其是在访问私有 ACR 仓库或公网时。

• 版本锁定：在通过 Script方式安装依赖时，强烈建议明确指定版本号（如 pip install pandas==1.5.3），避免上游库更新导致非预期的行为变更。

• 回滚方案：如果更新镜像后生产任务失败，可通过任务发布历史回滚到上一个版本，或在调度配置中将镜像重新指向旧的、稳定的版本。

场景实践案例

本实践演示如何通过PyODPS节点使用镜像实现中文分词能力。假设需要对MaxCompute表中的某一列中文数据进行分词，然后将分词结果存入另一张表中，用于下游调度节点使用。您可在自定义镜像中预装jieba分词工具包，然后通过PyODPS任务使用该镜像对数据表中的中文数据进行分词处理，并将结果存储至新表，无缝集成至下游调度流程。

1. 创建测试数据。

   1. 创建DataWorks工作空间绑定MaxCompute计算资源。详情请参见创建工作空间、计算资源管理。

   2. 在数据开发中，创建ODPS节点（旧版数据开发）或MaxCompute SQL节点（新版数据开发），新建测试表并添加测试数据。

      说明

      如下示例使用了调度参数，请在右侧调度配置中设置参数名为bday，参数值为$[yyyymmdd]。

      创建测试表。

      -- 创建测试表
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT '分区')
      LIFECYCLE 90;
      
      -- 向表中插入测试数据
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, '晚来天欲雪，能饮一杯无？'),
      (2, '月落乌啼霜满天，江枫渔火对愁眠。'),
      (3, '山重水复疑无路，柳暗花明又一村。'),
      (4, '春眠不觉晓，处处闻啼鸟。'),
      (5, '静夜思，床前明月光，疑是地上霜。'),
      (6, '海上生明月，天涯共此时。'),
      (7, '旧时王谢堂前燕，飞入寻常百姓家。'),
      (8, '一行白鹭上青天，窗含西岭千秋雪。'),
      (9, '人生得意须尽欢，莫使金樽空对月。'),
      (10, '天生我材必有用，千金散尽还复来。');

   3. 保存并发布。

2. 创建自定义镜像。

   参见创建自定义镜像，关键参数如下：

   • 镜像名称/ID：选择dataworks_pyodps_task_pod，DataWorks PyODPS节点官方镜像。

   • 支持任务类型：支持PyODPS2、PyODPS 3。

   • 安装包：选择Python3和jieba。

3. 发布自定义镜像并修改归属项目空间。具体请参见发布自定义镜像和修改镜像归属空间。

4. 在调度任务中使用自定义镜像。

   1. 在数据开发中，创建PyODPS3节点，配置如下内容：

      使用自定义镜像。

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # 读取表数据
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # 对提取的文本进行分词
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # 创建目标表
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='分词结果')], partitions=[Column(name='ds', type='string', comment='分区字段')])
          o.create_table("participle_tb", schema)
      
      # 写入分词结果到目标表
      # 定义输出分区和表
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # 如果分区不存在，先创建分区
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # 将分词结果写入表
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. 在右侧调度配置中，设置如下关键参数：

      • 调度参数：参数名bday，参数值为$[yyyymmdd]。

      • 调度资源组：选择Serverless资源组，与发布镜像时选择的测试资源组相同。

      • 镜像：选择已发布并绑定了当前工作空间的自定义镜像。

   3. 节点调试。

      • 如果使用旧版数据开发，请在节点顶部工具栏单击带参运行（），配置资源组名称、运行CU、镜像和自定义参数，然后单击运行。

      • 如果使用新版数据开发，请在节点右侧调试配置中，配置计算资源、资源组、计算CU、镜像和脚本参数，然后在节点顶部工具栏单击运行。

   4. （可选）新建临时查询（旧版数据开发）或在个人目录下创建SQL文件（新版数据开发），使用如下SQL查询产出表中是否有数据。

      -- 将<分区日期>替换成具体日期。
      SELECT * FROM participle_tb WHERE ds=<分区日期>;

      

   5. 将PyODPS节点发布至生产环境。

      说明

      数据开发中修改的镜像不会同步到生产环境中，您需要将任务发布后，才能在生产环境中生效。详情请参见发布任务（旧版数据开发）或节点/工作流发布（新版数据开发）。

5. 将自定义镜像构建为持久化镜像。具体请参见构建持久化镜像。

常见问题

Q：Python任务报错urllib3 v2.0 only supports OpenSSL 1.1.1+。

A：urllib3 v2.0仅支持OpenSSL1.1.1+，可降低urllib3版本以兼容OpenSSL。例如，安装三方包的时候强行指定urllib3的版本：/home/tops/bin/pip3 install urllib3==1.26.16。

相关文档

• DataWorks官方镜像。

• 使用Serverless资源组。

• 基于自建Hadoop集群进行任务开发。

• MaxCompute PyODPS开发。

附录：安装命令参考

如果使用自定义镜像的Script方式配置安装命令，则可以参考如下命令安装：

• 如果依赖PyODPS 2节点，请执行如下命令。

  pip install <需要安装的包> -i  https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <需要安装的包>

  说明

  执行命令后，如果提示需要升级PIP版本，请执行命令pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple。

• 如果依赖PyODPS 3节点，请执行如下命令。

  /home/tops/bin/pip3 install <需要安装的包> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <需要安装的包>

  说明

  • 执行命令后，如果提示需要升级PIP版本，请执行命令/home/tops/bin/pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple。

  • 如果出现报错/home/admin/usertools/tools/cmd-0.sh:行3: /home/tops/bin/python3: 没有那个文件或目录，请提交工单申请开启权限。

  Python公开镜像源参考如下，可按需切换。

  机构/公司	镜像地址
  阿里云 (Aliyun)	https://mirrors.aliyun.com/pypi/simple/ 重要 从阿里云获取Python包，无需开通公网访问能力。
  清华大学 (Tsinghua)	https://pypi.tuna.tsinghua.edu.cn/simple
  中国科学技术大学 (USTC)	https://pypi.mirrors.ustc.edu.cn/simple/