Python节点

Python节点支持Python3语法(不支持Python2语法),您可以在该节点中直接使用Python代码,并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置和调度。

前提条件

  • RAM账号添加至对应空间(可选)。

    进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员

  • 对应空间已绑定Serverless资源组。详情请参见:使用Serverless资源组

  • 进行Python节点开发前,需创建对应的Python节点,详情请参见:创建周期任务

注意事项

  • 运行该任务时,若使用Serverless资源组,单任务支持最大配置64CU,但建议不超过16CU,以避免CU过大导致资源不足,影响任务启动。

  • Python节点仅具备Python代码基础运行环境,如您需要在Python代码中引用第三方包,请创建自定义镜像,在镜像中安装相关依赖后,再运行Python节点。

开发Python节点

  1. Python节点开发。

    通用Python节点中的参数无需声明参数名,以sys.argv[参数序号](参数序号由小到大,依次递增)获取调度参数,在调度参数中配置参数值,多个参数取值使用空格分隔。

    image

    例如,本示例中:

    • sys.argv[1]赋值当前时间:$[yyyymmdd]

    • sys.argv[2]手动赋值为固定值:Hello DataWorks

    说明

    如需获取上游节点的输出参数,您需要在调度配置 > 节点上下文参数 > 节点输入参数中添加参数,设置参数值为上游节点的输出参数。

  2. 完成代码开发后,在右侧单击调试配置,选择调试运行所需的资源组、调度参数等配置后,即可单击image运行按钮,对代码进行测试运行。

    说明

    Python节点的调试和调度仅支持使用Serverless资源组,请确保当前工作空间已绑定Serverless资源组

  3. 完成Python节点脚本开发与测试后,需对Python节点进行调度配置,以实现Python节点的周期运行。

  4. 完成任务调度配置后,需对节点进行保存后,才可进行下一步操作。

节点发布与运维

  1. 完成调度配置后,即可对已完成的Python节点提交发布至生产环境,详情请参见:节点/工作流发布

  2. 发布完成的任务,将按照您配置的任务调度进行周期运行,可在运维中心 > 任务运维 > 周期任务运维 > 周期任务中查看已发布的周期任务,并对任务进行运维操作,详情请参见:运维中心入门

通过Python节点访问OSSNAS上的数据

DataWorks支持创建OSSNAS类型的数据集,然后在Python节点开发中使用数据集,实现Python节点运行过程中读写OSSNAS存储中的数据。

调用Python代码

个人开发环境支持Python编程,如需使用个人开发环境调试Python节点任务,详情请参见个人开发环境