DataWorks为您提供函数计算节点,允许您通过自定义代码实现不同业务需求。函数计算节点支持周期性调度,便于执行定时任务。同时,该节点能够与DataWorks其他类型节点配合使用,帮助您构建完整的数据处理流程。本文将为您介绍如何创建并使用函数计算节点。
前提条件
背景信息
函数计算是一款事件驱动的全托管计算服务,无需您单独采购与管理服务器等基础设施,通过编写并上传代码或镜像,即可进行服务、函数等的管理操作。函数计算支持运行如下两种类型的函数:
事件函数:适用于事件驱动模型中通过事件发生来调用关联函数。
HTTP函数:适用于快速构建Web应用等场景。
您可在函数计算节点配置需要运行的服务与函数,并将该节点发布至生产调度,实现相应服务与函数的周期性执行。
使用限制
功能限制
DataWorks目前仅支持调用事件函数,不支持调用HTTP函数。因此,若要在DataWorks周期性调度处理事件函数,则在创建函数时,需要创建用于处理事件请求的事件函数。更多函数类型介绍,详情请参见函数类型。
地域限制
DataWorks目前仅支持华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、新加坡、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)和澳大利亚(悉尼)关停中地域的工作空间使用函数计算功能。
注意事项
使用函数计算节点时,需基于已创建的服务调用待执行事件函数。选择服务时,若无法获取已创建的服务列表,则可能原因如下:
当前账号欠费:请充值后刷新节点配置页面重新尝试。
当前登录用户没有获取服务列表的权限:请联系阿里云主账号为您添加fc:ListServices权限,或直接赋予您 AliyunFCFullAccess权限,授权后请刷新节点配置页面重新尝试。授权操作,请参见为RAM用户授权。
使用DataWorks的函数计算节点运行函数时,若运行时长超过1小时,请将DataWorks函数计算节点的调用方式配置为异步调用。函数计算异步调用的介绍,请参考异步调用。
若使用RAM用户(即子账号)进行函数计算节点开发,则需为该用户添加如下系统策略或自定义策略权限。
策略类型
策略描述
相关参考
系统策略
使用系统策略时,需授权用户
AliyunFCFullAccess
,或AliyunFCReadOnlyAccess
及AliyunFCInvocationAccess
权限策略。自定义策略
使用自定义策略时,需授权用户如下所有权限策略。
fc:GetService
fc:ListServices
fc:GetFunction
fc:InvokeFunction
fc:ListFunctions
fc:GetFunctionAsyncInvokeConfig
fc:ListServiceVersions
fc:ListAliases
fc:GetAlias
fc:ListFunctionAsyncInvokeConfigs
fc:GetStatefulAsyncInvocation
fc:StopStatefulAsyncInvocation
步骤一:进入节点创建入口
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
进入节点创建入口。
在数据开发(DataStudio)界面,您可通过如下方式创建函数计算节点。
步骤二:创建并配置函数计算节点
创建函数计算节点。
进入节点创建入口后,根据界面提示,配置新建节点的路径、名称等基本信息,创建节点。
配置函数计算节点参数。
在节点编辑页面,根据业务需求,选择执行本次任务需调用的函数并配置其运行方式及变量详情。
参数
描述
选择服务
用于为函数提供相关运行资源。同一服务下的所有函数共享一些相同的设置,例如,服务授权和日志配置等。如果没有可用服务,则需新建,详情请参见创建服务。
选择版本或别名
选择后续调用函数时所使用的服务版本或别名。默认版本为 LATEST。
选择函数
选择此次任务执行所需调用的函数。如果没有可用函数,则需新建,详情请参见创建函数。
说明DataWorks目前仅支持调用事件函数,不支持调用HTTP函数。因此,若要在DataWorks周期性调度处理事件函数,则在创建函数时,需要创建用于处理事件请求的事件函数。更多函数类型介绍,详情请参见函数类型。
示例选择
para_service_01_by_time_triggers
函数。创建该函数时,选择平台提供的定时触发函数的示例代码。代码逻辑如下。import json import logging logger = logging.getLogger() def handler(event, context): logger.info('event: %s', event) # Parse the json evt = json.loads(event) triggerName = evt["triggerName"] triggerTime = evt["triggerTime"] payload = evt["payload"] logger.info('triggerName: %s', triggerName) logger.info("triggerTime: %s", triggerTime) logger.info("payload: %s", payload) return 'Timer Payload: ' + payload
更多函数的示例代码,请参见示例代码。
调用方式
支持使用如下方式调用函数:
变量
基于实际应用,对函数中的变量进行赋值。该变量与函数计算产品中,目标函数详情页的
内容对应。示例对
para_service_01_by_time_triggers
函数的相关变量传入如下参数。参数中,使用${}
格式定义了名为bizdate
的变量,该变量需在步骤4中赋值。{ "payload": "payload1", "triggerTime": "${bizdate}", "triggerName": "triggerName1" }
可选:调试运行函数计算节点。
函数计算节点配置完成后,您可单击图标,指定任务运行的资源组并为代码变量赋值常量进行调试运行,测试节点代码逻辑是否正确。运行时,参数配置格式为
key=value
,输入多个参数时,需使用逗号(,)分隔。说明更多任务调试运行详情,请参见调试运行任务。
配置节点的周期调度属性。
DataWorks提供的调度参数,可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后,需进入调度配置中为变量赋值。本文示例为变量
bizdate
赋值为前一天,即在函数计算节点定时运行时间的前一天,DataWorks会调度运行该节点。更多调度参数的配置,详情请参见配置调度参数。节点的更多调度属性,详情请参见任务调度属性配置概述。
步骤三:提交并发布节点
函数计算节点需要提交发布至生产环境后,才会自动调度运行。
保存并提交节点。
可选:发布节点。
后续步骤
任务提交发布至生产运维中心调度后,您可通过DataWorks的运维中心进行相关运维操作,详情请参见运维中心。
在掌握如何创建和使用函数计算节点的基本步骤之后,您可通过最佳实践进一步深入了解该节点,详情请参见在DataWorks中通过函数计算节点实现动态为PDF添加水印。