您可以在DataWorks中新建Data Lake Analytics节点,构建在线ETL数据处理流程。
背景信息
Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics,详情请参见什么是Data Lake Analytics。
Data Lake Analytics节点支持Serverless资源组(推荐)或旧版独享调度资源组执行任务。如需购买使用Serverless资源组,详情请参见新增和使用Serverless资源组。
使用限制
支持的地域:华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国香港、日本(东京)、新加坡、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。
操作步骤
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
鼠标悬停至图标,单击 。
您也可以打开相应的业务流程,右键单击自定义,选择
。在新建节点对话框中,输入节点名称,并选择路径。
单击确认。
编辑Data Lake Analytics节点。
选择数据源。
选择任务要执行的目标数据源。如果下拉列表中没有需要的数据源,请单击右侧的新建数据源,在数据源管理页面新建,详情请参见配置Data Lake Analytics(DLA)数据源。
编辑SQL语句。
选择相应的数据源后,即可根据Data Lake Analytics支持的语法,编写SQL语句。通常支持DML语句,您也可以执行DDL语句。
单击工具栏中的图标。
单击工具栏中的图标,执行SQL语句。
如果您需要修改在数据开发页面测试时使用的任务执行资源,请单击工具栏中的图标,选择相应的Serverless资源组。
说明因为访问专有网络环境的数据源需要使用Serverless资源组执行任务,所以此处必须选择测试连通性成功的Serverless资源组。
单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见配置基础属性。
配置资源属性时,请选择调度资源组为已经和Data Lake Analytics网络连通的Serverless资源组,作为周期调度时使用的资源组。
单击工具栏中的图标,保存节点。
单击工具栏中的图标。
在提交新版本对话框中,输入变更描述。
单击确认。
任务运维,详情请参见周期任务基本运维操作。
保存并提交节点。
您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。
如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的发布。具体操作请参见发布任务。