Python节点支持Python3语法(不支持Python2语法),您可以在该节点中直接使用Python代码,并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置和调度。
前提条件
RAM账号添加至对应空间(可选)。
进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员。
对应空间已绑定Serverless资源组。详情请参见:使用Serverless资源组。
进行Python节点开发前,需创建对应的Python节点,详情请参见:创建周期任务。
注意事项
运行该任务时,若使用Serverless资源组,单任务支持最大配置
64CU
,但建议不超过16CU
,以避免CU过大导致资源不足,影响任务启动。Python节点仅具备Python代码基础运行环境,如您需要在Python代码中引用第三方包,请创建自定义镜像,在镜像中安装相关依赖后,再运行Python节点。
开发Python节点
Python节点开发。
通用Python节点中的参数无需声明参数名,以
sys.argv[参数序号]
(参数序号由小到大,依次递增)获取调度参数,在调度参数中配置参数值,多个参数取值使用空格分隔。例如,本示例中:
sys.argv[1]
赋值当前时间:$[yyyymmdd]
。sys.argv[2]
手动赋值为固定值:Hello DataWorks
。
说明如需获取上游节点的输出参数,您需要在
中添加参数,设置参数值为上游节点的输出参数。完成代码开发后,在右侧单击调试配置,选择调试运行所需的资源组、调度参数等配置后,即可单击
运行按钮,对代码进行测试运行。
说明Python节点的调试和调度仅支持使用Serverless资源组,请确保当前工作空间已绑定Serverless资源组。
完成Python节点脚本开发与测试后,需对Python节点进行调度配置,以实现Python节点的周期运行。
完成任务调度配置后,需对节点进行保存后,才可进行下一步操作。
节点发布与运维
通过Python节点访问OSS或NAS上的数据
DataWorks支持创建OSS或NAS类型的数据集,然后在Python节点开发中使用数据集,实现Python节点运行过程中读写OSS或NAS存储中的数据。
调用Python代码
个人开发环境支持Python编程,如需使用个人开发环境调试Python节点任务,详情请参见个人开发环境。