实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板,可提高研发效率。本文为您介绍如何新建及管理实时计算模板。
应用场景
基本场景下,实时计算任务需24小时不间断运行,以保证数据产出的实效性。在该要求下实时任务的稳定性、低延迟及高容灾变得尤为重要。为解决如上需求,通常在生产环境中通过双链路及以上实现实时任务的主备容灾处理。相对的,链路数量的增加将会导致维护成本和难度的提高。如在变更任务时,需手动进行变更,非常容易导致变更不一致情况。在该场景下,您可在Dataphin中创建实时计算模板,并在创建实时任务时引用实时计算模板实例化任务。在后续变更维护时,您可通过编辑维护实时计算模板的方式,统一维护多个实时任务,大大的节省了开发维护成本和降低了变更风险。
操作步骤
在Dataphin首页,单击顶部菜单栏的研发 > 数据开发。
在数据开发页面,选择项目与环境,单击左侧导航栏的计算模板,单击新建图标,选择实时计算模板,进入新建模板对话框。
在新建模板对话中,配置参数。
参数
描述
模板名称
请输入模板名称,新建后不可修改。仅支持英文字母、数字、下划线(_)、连接符(-)。
选择目录
选择模板所属目录。若无对应所需目录。您可按照下图操作指引新建文件夹。
描述
填写模板的简单描述,1000字符内。
单击确定。
在实时计算模板的代码开发页面,开发实时计算的模板代码。
重要开发的模板代码中需至少包含一个参数,才可正常编译和提交。参数格式:
@@{参数名称}
。说明您可以单击页面右上方的按钮,系统自动调整SQL代码格式。
模板代码编写完成后,单击页面左上方的按钮,并在参数填写对话框中选择引擎版本和填写参数值。
参数
描述
引擎版本
选择预编译代码的引擎版本。
参数填写
填写用于预编译的参数值。若不配置参数值,可勾选填写空值或全部为空值。
单击确定,校验代码任务的语法及权限问题。
说明预编译成功,在页面上方出现弹窗。
预编译失败,在页面上方出现弹窗,单击页面底部Console,查看预编译失败日志。
完成开发及预编译后,您需为实时计算模板配置参数的说明信息和默认值。按照下图操作指引,在属性弹框中,配置参数。
参数
描述
参数说明
输入参数的说明信息。128个字符以内。
默认值
填写参数的默认值。
说明Dataphin支持在实时模板中配置运行参数信息,基于当前实时模板创建的实时任务将继承所配置运行参数。具体操作,请参见配置实时模板运行参数。
单击页面左上方的按钮,并在提交代码模板对话框中填写版本名称及备注信息。
单击确定并提交。
如果项目的模式为Dev-Prod,则您需要发布实时计算模板至生产环境。具体操作,请参见管理发布任务。
后续步骤
发布成功后,您可在运维中心查看并管理实时计算模板任务。详情请参见查看并管理实时任务。