AI 助理
备案控制台
文档
输入文档关键字查找
首页 云原生大数据计算服务 MaxCompute 操作指南 数据开发：创建作业并运行 周期性调度作业：使用DataWorks 开发PyODPS 3任务

开发PyODPS 3任务

更新时间：
产品详情
我的收藏

DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。

前提条件

已创建PyODPS 3节点，详情请参见创建并管理MaxCompute节点。

背景信息

PyODPS是MaxCompute的Python版本的SDK，提供简单方便的Python编程接口，以便您使用Python编写MaxCompute作业、查询MaxCompute表和视图，以及管理MaxCompute资源，详情请参见PyODPS概述。在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。

注意事项

  • DataWorks支持可视化创建Python资源，如果您需要在PyODPS节点中调用第三方包，请使用独享调度资源组并通过运维助手进行安装。

  • DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务代码时引用，如果需要在MaxCompute的Python UDF中引用Python第三方包，详情请参见UDF示例：Python UDF使用第三方包。

  • 如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考网络连通解决方案打通独享资源组与目标环境的网络连通。

  • PyODPS语法及更多信息请参见PyODPS文档。

  • PyODPS节点分为PyODPS 2和PyODPS 3两种，二者的区别在于底层Python语言版本不同。PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。

  • 若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码处通过手动设置DataWorks调度运行的相关参数解决。查看数据血缘，详情请参见查看血缘信息；参数设置，详情请参见设置运行参数hints。任务运行时所需参数可参考如下代码获取。

    import os
...
# get DataWorks sheduler runtime parameters
skynet_hints = {}
for k, v in os.environ.items():
    if k.startswith('SKYNET_'):
        skynet_hints[k] = v
...
# setting hints while submiting a task
o.execute_sql('INSERT OVERWRITE TABLE XXXX SELECT * FROM YYYY WHERE ***', hints=skynet_hints)
...

使用限制

  • DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。

  • 如果您发现有Got killed报错，即表明内存使用超限，进程被中止。因此，请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。

  • 非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。

  • 由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel，需要手动将该值设置为True。

  • 当Python 3的子版本号不同（例如Python 3.8和Python 3.7）时，字节码的定义有所不同。

    目前MaxCompute使用的Python 3版本为3.7，当使用其它版本Python 3中的部分语法（例如Python 3.8中的finally block）时，执行会报错，建议您选择Python 3.7。

  • PyODPS 3支持运行在公共资源组和2020年4月之后购买的独享调度资源组上。如果您的独享调度资源组的创建时间较早，请通过DataWorks交流群联系值班同学升级资源组。

编辑代码：简单示例

创建PyODPS节点后，您可以进行代码编辑及运行，更多关于PyODPS语法说明，请参见基本操作概述。

  • ODPS入口

    DataWorks的PyODPS节点中，将会包含一个全局的变量odps或o，即ODPS入口，您无需手动定义ODPS入口。 

    print(odps.exist_table('PyODPS_iris'))

  • 执行SQL

    您可以在PyODPS节点中执行SQL，详情请参见SQL。

    • DataWorks上默认未开启instance tunnel，即instance.open_reader默认使用Result接口（最多一万条记录）。您可以通过reader.count获取记录数。如果您需要迭代获取全部数据，则需要关闭limit限制。您可以通过下列语句在全局范围内打开Instance Tunnel并关闭limit限制。 

      options.tunnel.use_instance_tunnel = True
options.tunnel.limit_instance_tunnel = False  # 关闭limit限制，读取全部数据。

with instance.open_reader() as reader:
  # 通过Instance Tunnel可读取全部数据。

    • 您也可以通过在open_reader上添加tunnel=True，实现仅对本次open_reader开启instance tunnel。同时，您还可以添加 limit=False，实现仅对本次关闭limit限制。

      # 本次open_reader使用Instance Tunnel接口，且能读取全部数据。
with instance.open_reader(tunnel=True, limit=False) as reader:
    说明

    若您未开启Instance Tunnel，可能导致获取数据格式错误，解决方法请参见Python SDK常见问题。

  • 设置运行参数

    • 您可以通过设置hints参数，来设置运行时的参数，参数类型是dict。 Hints参数的详情请参见SET操作。

      o.execute_sql('select * from PyODPS_iris', hints={'odps.sql.mapper.split.size': 16})

    • 对全局配置设置sql.settings后，每次运行时，都需要添加相关的运行时的参数。

      from odps import options
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('select * from PyODPS_iris')  # 根据全局配置添加hints。

  • 读取运行结果

    运行SQL的实例能够直接执行open_reader的操作，有以下两种情况：

    • SQL返回了结构化的数据。 

      with o.execute_sql('select * from dual').open_reader() as reader:
	for record in reader:  # 处理每一个record。

    • 可能执行的是desc等SQL语句，通过reader.raw属性，获取到原始的SQL执行结果。 

      with o.execute_sql('desc dual').open_reader() as reader:
	print(reader.raw)
      说明

      如果使用了自定义调度参数，页面上直接触发运行PyODPS 3节点时，需要写死时间，PyODPS节点无法直接替换。

  • DataFrame

    您还可以通过DataFrame的方式处理数据。

    • 执行

      在DataWorks的环境里，DataFrame的执行需要显式调用立即执行的方法。

      from odps.df import DataFrame
iris = DataFrame(o.get_table('pyodps_iris'))
for record in iris[iris.sepal_width < 3].execute():  # 调用立即执行的方法，处理每条Record。

      如果您需要在Print时调用立即执行，需要开启options.interactive。

      from odps import options
from odps.df import DataFrame
options.interactive = True  # 在开始处打开开关。
iris = DataFrame(o.get_table('pyodps_iris'))
print(iris.sepal_width.sum())  # Print时会立即执行。

    • 打印详细信息

      通过设置options.verbose选项。在DataWorks上，默认已经处于打开状态，运行过程会打印Logview等详细过程。

示例

以下以一个简单示例为您介绍PyODPS节点的使用：

  1. 准备数据集，创建pyodps_iris示例表，具体操作请参见Dataframe数据处理。

  2. 创建DataFrame，详情请参见从MaxCompute表创建DataFrame。

  3. 在PyODPS节点中输入以下代码并运行。

    from odps.df import DataFrame

# 从ODPS表创建DataFrame。
iris = DataFrame(o.get_table('pyodps_iris'))
print(iris.sepallength.head(5))

    返回结果：

       sepallength
0          4.5
1          5.5
2          4.9
3          5.0
4          6.0

编辑代码：进阶示例

若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见任务调度属性配置概述。

使用调度参数

单击节点编辑区域右侧的调度配置，在参数区域配置自定义参数，PyODPS节点与SQL节点定义变量的方式不同，详情请参见调度参数配置。

与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似 ${param_name}的字符串，而是在执行代码前，在全局变量中增加一个名为args的dict，调度参数可以在此获取。例如，在参数中设置ds=${yyyymmdd}，则可以通过以下方式在代码中获取该参数。

print('ds=' + args['ds'])
ds=20161116
说明

如果您需要获取名为ds的分区，则可以使用如下方法。

o.get_table('table_name').get_partition('ds=' + args['ds'])

更多场景的PyODPS任务开发，请参考：

后续步骤

  • 如何判断Shell自定义脚本任务的成功完成：Python自定义脚本任务的成功完成的判断逻辑与Shell节点一致，您可通过该方法进行判断。

  • 发布任务：如果您使用的是标准模式的工作空间，需要通过任务发布流程，将任务发布至生产环境后，任务才会周期调度运行。

  • 周期任务运维：任务提交发布至生产运维中心调度后，您可通过DataWorks运维中心进行相关运维操作。

  • PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。

上一篇：开发ODPS Spark任务下一篇：开发PyODPS 2任务
文档推荐