您可为实时集成任务配置运行时资源,实时集成时将使用所配置的资源进行任务运行。本文将为您介绍如何配置实时集成资源。
操作步骤
在Dataphin首页,单击顶部菜单栏研发->数据集成。
按照以下操作指引,进入实时集成任务的属性抽屉。
选择项目(Dev-Prod模式需要选择环境)->单击实时集成->单击实时集成任务->单击资源配置。
在资源配置区域,配置实时集成任务资源。
参数
描述
引擎版本
当前实时集成任务所使用的计算引擎及版本信息。
内存
实时集成任务运行时所使用的内存资源量。
默认为1Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含 以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。
批量写入周期
实时集成的目标库为Hive或MaxCompute时,需配置批量写入周期。
目标库为Hive:默认15分钟。提交周期最小为1分钟,最大为60分钟。数据写入Hive目标文件周期时长,周期时间越小,Hive目标文件越多,影响Hadoop集群性能。
目标库为MaxCompute:默认30s。最小为5秒,最大为60分钟。数据写入MaxCompute数据表的刷新周期。
目标库为MySQL、Oracle:不支持配置批量写入周期。
单击确定,完成实时集成任务资源配置。
文档内容是否对您有帮助?