首页 函数计算(旧版) 操作指南 事件触发 DataWorks大数据开发治理平台

DataWorks大数据开发治理平台

更新时间: 2023-07-06 11:46:51

DataWorks为您提供函数计算节点,您可通过该节点周期性调度处理事件函数,并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。

背景信息

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。DataWorks数据开发(DataStudio)模块用于定义周期调度任务的开发及调度属性,与运维中心配合使用,面向各引擎(MaxCompute、Hologres、EMR等)提供可视化开发主界面,支持智能代码开发、多引擎混编工作流、规范化任务发布等能力,帮助您轻松构建离线数仓、实时数仓与即席分析系统,保证数据生产的高效稳定。

DataWorks的数据开发(DataStudio)可通过调用函数计算事件函数来处理请求事件,通过配置节点的周期调度属性,发布到生产环境后,就可实现自动调度。

前提条件

使用限制

  • 功能限制

    DataWorks目前仅支持调用事件函数,不支持调用HTTP函数。因此,若要在DataWorks周期性调度处理事件函数,则在创建函数时,需要创建用于处理事件请求的事件函数。

  • 地域限制

    DataWorks目前仅支持华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、新加坡、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、澳大利亚(悉尼)和印度(孟买)地域的工作空间使用函数计算功能。

注意事项

  • 使用函数计算节点时,需基于已创建的服务调用待执行事件函数。选择服务时,若无法获取已创建的服务列表,则可能原因如下:
    • 当前账号欠费:请充值后刷新节点配置页面重新尝试。
    • 当前登录用户没有获取服务列表的权限:请联系阿里云主账号为您添加fc:ListServices权限,或直接赋予您 AliyunFCFullAccess权限,授权后请刷新节点配置页面重新尝试。授权操作,请参见为RAM用户授权
  • 若使用RAM用户(即子账号)进行函数计算节点开发,则需为该用户添加如下系统策略或自定义策略权限。
    策略类型策略描述相关参考
    系统策略使用系统策略时,需授权用户AliyunFCFullAccess,或AliyunFCReadOnlyAccessAliyunFCInvocationAccess权限策略。系统策略
    自定义策略使用自定义策略时,需授权用户如下所有权限策略。
    • fc:GetService
    • fc:ListServices
    • fc:GetFunction
    • fc:InvokeFunction
    • fc:ListFunctions
    • fc:GetFunctionAsyncInvokeConfig
    • fc:ListServiceVersions
    • fc:ListAliases
    • fc:GetAlias
    • fc:ListFunctionAsyncInvokeConfigs
    • fc:GetStatefulAsyncInvocation
    • fc:StopStatefulAsyncInvocation
    自定义策略

步骤一:进入节点创建入口

  1. 进入数据开发
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发
  2. 进入节点创建入口。
    在数据开发(DataStudio)界面,您可通过如下方式创建函数计算节点。函数计算节点创建入口

步骤二:创建并配置函数计算节点

  1. 创建函数计算节点。
    进入节点创建入口后,根据界面提示,配置新建节点的路径、名称等基本信息,创建节点。
  2. 配置函数计算节点参数。
    在节点编辑页面,根据业务需求,选择执行本次任务需调用的函数并配置其运行方式及变量详情。配置节点参数
    参数描述
    选择服务用于为函数提供相关运行资源。同一服务下的所有函数共享一些相同的设置,例如,服务授权和日志配置等。如果没有可用服务,则需新建,详情请参见创建服务
    选择版本或别名选择后续调用函数时所使用的服务版本或别名。默认版本为 LATEST
    • 服务版本

      函数计算提供服务级别的版本控制功能,支持您为自己的服务发布一个或多个版本。当发布版本时,函数计算会为服务生成快照,包括服务的配置、服务内的函数代码及函数配置,但不包括触发器,并自动分配一个版本号与其关联,以供后续使用。发布版本,详情请参见发布版本

    • 版本别名

      函数计算支持为服务的版本创建别名。别名用于指向特定版本,您可利用别名轻松实现发布、回滚以及灰度发布等功能。别名无法脱离服务或版本单独存在。使用别名访问服务或函数时,函数计算会将别名解析为其指向的版本,调用方无需了解别名指向的具体版本。创建别名,详情请参见创建别名

    选择函数选择此次任务执行所需调用的函数。如果没有可用函数,则需新建,详情请参见创建函数
    说明

    DataWorks目前仅支持调用事件函数,不支持调用HTTP函数。因此,若要在DataWorks周期性调度处理事件函数,则在创建函数时,需要创建用于处理事件请求的事件函数。

    示例选择para_service_01_by_time_triggers函数。创建该函数时,选择平台提供的定时触发函数的示例代码。代码逻辑如下。
    import json
    import logging
    
    logger = logging.getLogger()
    
    def handler(event, context):
        logger.info('event: %s', event)
    
        # Parse the json
        evt = json.loads(event)
        triggerName = evt["triggerName"]
        triggerTime = evt["triggerTime"]
        payload = evt["payload"]
    
        logger.info('triggerName: %s', triggerName)
        logger.info("triggerTime: %s", triggerTime)
        logger.info("payload: %s", payload)
    
        return 'Timer Payload: ' + payload
    更多函数的示例代码,请参见示例代码
    调用方式支持使用如下方式调用函数:
    • 同步调用:该方式事件将直接触发函数,函数计算会运行该函数并等待响应,当函数调用完成后,函数计算直接返回执行结果。
    • 异步调用:该方式函数计算会将事件请求先持久化后再立即返回响应,而不是等待请求执行完成后才返回响应。

      如果您的函数中存在耗时较长、资源消耗较大或容易出错的逻辑,则可使用该方式,让您的程序响应更加迅速,更加可靠地应对突发流量。

    变量基于实际应用,对函数中的变量进行赋值。该变量与函数计算产品中,目标函数详情页的测试函数 > 配置测试事件内容对应。
    示例对para_service_01_by_time_triggers函数的相关变量传入如下参数。参数中,使用${}格式定义了名为bizdate的变量,该变量需在步骤4中赋值。
    {
        "payload": "payload1",
        "triggerTime": "${bizdate}",
        "triggerName": "triggerName1"
    }
  3. 可选:调试运行函数计算节点。
    函数计算节点配置完成后,您可单击运行图标,指定任务运行的资源组并为代码变量赋值常量进行调试运行,测试节点代码逻辑是否正确。运行时,参数配置格式为key=value,输入多个参数时,需使用逗号(,)分隔。
    说明
    • 为保障任务高并发执行且无法错峰运行的情况下,当前任务能够定时调度执行,建议使用独享调度资源组。若无合适资源组,请重新创建,详情请参见新增和使用独享调度资源组
    • 更多任务调试运行详情,请参见调试运行任务
  4. 配置节点的周期调度属性。
    DataWorks提供的调度参数,可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后,需进入调度配置中为变量赋值。本文示例为变量bizdate赋值为前一天,即在函数计算节点定时运行时间的前一天,DataWorks会调度运行该节点。更多调度参数的配置,详情请参见配置调度参数配置节点周期性调度节点的更多调度属性,详情请参见任务调度属性配置概述

步骤三:提交并发布节点

函数计算节点需要提交发布至生产环境后,才会自动调度运行。

  1. 保存并提交节点。
    单击工具栏中的保存提交图标,保存并提交节点。提交节点时,请根据提示输入变更描述,并根据需要选择是否进行代码评审及冒烟测试。
    说明
    • 您需在调度配置中设置节点的重跑属性依赖的上游节点,才可以提交节点。
    • 开启代码评审后,开发人员提交的节点代码必须通过评审人员的审核才可发布,详情请参见代码评审
    • 为保障调度节点任务执行符合预期,建议您在发布前对任务进行冒烟测试,详情请参见冒烟测试
  2. 可选:发布节点。
    如果您使用的是标准模式的工作空间,提交成功后,需单击右上方的发布,发布节点。相关介绍请参见标准模式的工作空间发布任务

后续步骤

任务提交发布至生产运维中心调度后,您可通过DataWorks的运维中心进行相关运维操作,详情请参见运维中心

上一篇: IoT物联网平台 下一篇: Serverless工作流