离线集成管道通道配置

通过离线集成管道通道,您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的研发->数据开发

  2. 按照以下操作指引,进入通道配置抽屉。

    选择项目(Dev-Prod 模式需要选择环境)->单击离线集成->选择并单击需要配置通道的离线管道->单击属性->单击通道配置

    image

  3. 通道配置抽屉中,配置参数。

    参数

    说明

    容错配置

    错误数

    用于定义管道任务运行时允许的最大错误数。Dataphin离线集成默认不允许错误产生,即错误数允许最大值默认为0,但支持通过配置错误数来设置允许错误数的阈值

    配置了错误数的集成任务运行过程中会出现如下两种情况:

    • 管道运行过程中,如果各节点累计的错误数超过设置的错误数容错范围,则当前管道任务会失败。

    • 管道运行过程中,如果各节点累计的错误数在容错范围内,则跳过错误(即导致错误的数据不会写入目标源),任务继续运行。

    产生错误的原因:通常为来源数据源的单条数据写入目标数据源中发生了异常。例如,来源数据源是VARCHAR类型的数据写入到了INT类型的目标数据源列中,导致格式无法转化,数据无法写入到目标数据源导致的错误,即脏数据。

    全局并发度配置

    任务期望最大并发数

    用于定义当前管道脚本中组件从源端并行读取或并行写入目标端的最大线程数。

    JVM配置

    JVM参数

    用于定义当前管道脚本所占用的JVM资源,包括CPU和内存参数。

    • CPU Core资源最大不超过4.0Core,不支持负数。

    • 内存参数最大不超过16384MB(16GB),不支持小数和负数。

    数据库配置

    SQL执行超时时长

    应用于准备语句SQL和完成语句SQL的执行超时时长,任一SQL语句执行超过该时长则置任务失败。默认30分钟,最小值为1,最大值为2880分钟(48小时)。

    重要

    输出组件所配置的查询超时优先于管道配置的查询超时时间。

    数据库连接重试次数

    数据库连接超时,任务会自动重试连接直到完成设定的重试次数,默认为1次,最小值为0,最大可配置上限为10次。若达最大重试次数仍未连接成功,则任务状态为失败。

    重要
    • 仅支持管道任务中所有支持配置重试次数的数据源实例。

    • 默认值为数据源中配置的重试次数,可在此处修改为任务级别的配置,即任务级配置>数据源配置

    • 若数据源配置中未进行配置,则默认值为1次。

    • 集成任务中存在多个关系型数据源时,可以分别修改管道内各个数据源实例的重试次数,修改并提交发布后以集成管道内的配置为准。

    流量监控

    无流量时间阈值

    如读取数据与结果传输的过程中,由于查询与传输数据时间过久或数据库负载过大,无数据流量持续时间超过该时长,则置任务失败。默认30分钟,最小值为5,最大值为2880分钟(48小时)。

    时区配置

    时区

    请根据数据库配置的时区选择相应的时区。数据集成在中国地区默认时区为GMT+8,该时区不支持夏令时,如果数据库配置时区支持夏令时,如Asia/Shanghai时区,则当同步的时间数据处于夏令时的时间段,则建议选择Asia/Shanghai等时区,否则同步的数据与数据库中的数据相差1小时。

    支持的时区包括:GMT+1、GMT+2、GMT+3、GMT+5:30、GMT+8、GMT+9、GMT+10、GMT-5、GMT-6、GMT-8、Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New York、America/Sao Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。

  4. 单击确定,完成通道配置。

后续步骤

完成任务通道配置后,下一步您可单击提交,提交任务至发布中心或运维中心。

  • 如果您的开发模式是Dev-Prod模式,则需要发布任务,详情请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见运维中心概述