实时集成资源配置

您可为实时集成任务配置运行时资源,实时集成时将使用所配置的资源进行任务运行。本文将为您介绍如何配置实时集成资源。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏研发->数据集成

  2. 按照以下操作指引,进入实时集成任务的属性抽屉。

    选择项目(Dev-Prod模式需要选择环境)->单击实时集成->单击实时集成任务->单击资源配置

    image

  3. 资源配置区域,配置实时集成任务资源。

    参数

    描述

    引擎版本

    当前实时集成任务所使用的计算引擎及版本信息。

    内存

    实时集成任务运行时所使用的内存资源量。

    默认为1Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含 以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。

    批量写入周期

    实时集成的目标库为Hive或MaxCompute时,需配置批量写入周期。

    • 目标库为Hive默认15分钟。提交周期最小为1分钟,最大为60分钟。数据写入Hive目标文件周期时长,周期时间越小,Hive目标文件越多,影响Hadoop集群性能。

    • 目标库为MaxCompute默认30s。最小为5秒,最大为60分钟。数据写入MaxCompute数据表的刷新周期。

    • 目标库为MySQL、Oracle:不支持配置批量写入周期。

  4. 单击确定,完成实时集成任务资源配置。