文档

离线集成管道通道配置

更新时间:

通过离线集成管道通道,您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。

操作步骤

  1. 请参见数据集成入口,进入数据集成页面。

  2. 在数据集成页面,按照下图操作指引,选择您需配置的离线集成任务并进入通道配置对话框。

    image.png

  3. 通道配置对话框中,配置参数。

    参数

    描述

    容错配置

    错误数

    用于定义管道中允许的最大错误数。

    配置了容错配置的任务运行过程中会出现如下两种情况:

    • 管道运行过程中,如果各节点累计的错误数超过容错范围,则当前管道任务会失败。

    • 管道运行过程中,如果各节点累计的错误数在容错范围内,则任务继续运行。

    说明

    未配置时,默认为0。表示如果任务运行过程中产生错误,任务将直接失败退出。

    全局并发度配置

    任务期望最大并发数

    用于定义当前管道脚本中组件从源端并行读取或并行写入目标端的最大线程数。

    JVM配置

    JVM参数

    用于定义当前管道脚本所占用的JVM资源,包括CPU和内存参数。

    • CPU Core资源最大不超过4.0Core,不支持小数和负数。

    • 内存参数最大不超过16384MB(16GB),不支持小数和负数。

    数据库配置

    SQL执行超时时长

    应用于准备语句SQL和完成语句SQL的执行超时时长,任一SQL语句执行超过该时长则置任务失败。默认30分钟,最小值为1,最大值为2880分钟(48小时)。

    重要

    输出组件所配置的查询超时优先于管道配置的查询超时时间。

    数据库连接重试次数

    数据库连接超时,任务会自动重试连接直到完成设定的重试次数,默认为1次,最小值为0,最大可配置上限为10次。若达最大重试次数仍未连接成功,则任务状态为失败。

    重要
    • 仅支持管道任务中所有支持配置重试次数的数据源实例。

    • 默认值为数据源中配置的重试次数,可在此处修改为任务级别的配置,即任务级配置>数据源配置

    • 若数据源配置中未进行配置,则默认值为1次。

    • 集成任务中存在多个关系型数据源时,可分别修改管道内各个数据源实例的重试次数,修改并提交发布后以集成管道内的配置为准。

    流量监控

    无流量时间阈值

    如读取数据与结果传输的过程中,由于查询与传输数据时间过久或数据库负载过大,无数据流量持续时间超过该时长,则置任务失败。默认30分钟,最小值为5,最大值为2880分钟(48小时)。

  4. 单击确定,完成通道配置。

后续步骤

完成任务通道配置后,下一步您可单击提交,提交任务至发布中心或运维中心。

  • 如果您的开发模式是Dev-Prod模式,则需要发布任务,详情请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见运维中心概述

  • 本页导读 (0)
文档反馈