AI 助理
文档备案控制台
官方文档
输入文档关键字查找
首页

GetDIJob - 查看数据集成同步任务配置详情

更新时间：
复制为 MD 格式
产品详情
我的收藏

查看数据集成任务。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称

类型

必填

描述

示例值
Id

integer

否

实例 ID。

11588
WithDetails

boolean

否

是否返回详细配置信息，详细配置信息包括 TransformationRules、TableMappings、JobSettings。默认返回。

true
ProjectId

integer

否

DataWorks 工作空间 ID。您可以通过 ListProjects 接口获取工作空间 ID。

10000
DIJobId deprecated

integer

否

该字段已废弃，请使用 Id 字段。

11588

返回参数

名称

类型

描述

示例值

object

RequestId

string

请求的 ID。用于定位日志，排查问题。

C99E2BE6-9DEA-5C2E-8F51-1DDCFEADE490
PagingInfo

object

分页信息

Id

integer

任务 ID。

32601
Description

string

描述。

description
DestinationDataSourceSettings

array<object>

目的端数据源属性列表。

object

单个目的端数据源属性。

DataSourceName

string

目的端数据源名称。

dw_mysql
DestinationDataSourceType

string

目标端数据源类型，枚举值：Hologres，OSS-HDFS，OSS，MaxCompute，LogHub，StarRocks，DataHub，AnalyticDB_For_MySQL，Kafka，Hive。

Hologres
JobName

string

任务名称。

imp_ods_dms_det_dealer_info_df
JobSettings

object

运行时设置。

ChannelSettings

string

通道相关任务设置，可以对一些特定通道进行特殊配置，目前支持 Holo2Holo（从 holo 同步到 holo），Holo2Kafka（从 Holo 同步到 Kafka）

  1. Holo2Kafka

  • 示例：{"destinationChannelSettings":{"kafkaClientProperties":[{"key":"linger.ms","value":"100"}],"keyColumns":["col3"],"writeMode":"canal"}}

  • kafkaClientProperties：kafka producer 参数，写入 kafka 时使用

  • keyColumns， 需要写入的 kafka 列取值

  • writeMode，kafka 写入格式，目前支持 json/canal

  1. Holo2Holo

  • 示例： {"destinationChannelSettings":{"conflictMode":"replace","dynamicColumnAction":"replay","writeMode":"replay"}}

  • conflictMode: 写入 holo 冲突处理策略，replace-覆盖、ignore-忽略

  • writeMode: 写入 holo 方式，replay-重放、insert-插入

  • dynamicColumnAction：写入 holo 动态列方式 replay-重放、insert-插入，ignore-忽略

{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""}
ColumnDataTypeSettings

array<object>

列类型映射。

object

列类型映射。

DestinationDataType

string

目标端类型。如 bigint，boolean，string，text，datetime，timestamp，decimal，binary，不同数据源类型会有类型差异

text
SourceDataType

string

源端类型。如 bigint，boolean，string，text，datetime，timestamp，decimal，binary，不同数据源类型会有类型差异

bigint
CycleScheduleSettings

object

周期调度设置。

CycleMigrationType

string

需要周期调度的同步类型。取值范围：

  • Full：全量

  • OfflineIncremental：离线增量

Full
ScheduleParameters

string

调度参数。

bizdate=$bizdate

DdlHandlingSettings

array<object>

DDL 类型处理数组，包含一系列需要处理的 DDL 类型以及对应规则。

object

单条 DDL 类型处理规则。

Action

string

处理动作，可选的枚举值：

  • Ignore（忽略）

  • Critical（报错）

  • Normal（正常处理）

Ignore
Type

string

DDL 类型，可选的枚举值：

  • RenameColumn（重命名列）

  • ModifyColumn（重命名列）

  • CreateTable（重命名列）

  • TruncateTable（清空表）

  • DropTable（删除表）

CreateTable
RuntimeSettings

array<object>

运行时设置。

object

运行时设置。

Name

string

设置名称，可选的枚举值：

  • src.offline.datasource.max.connection（离线批量任务源端最大连接数）

  • dst.offline.truncate (是否清空目标表）

  • runtime.offline.speed.limit.enable（离线批量任务是否开启限流）

  • runtime.offline.concurrent（离线批量同步任务并发度）

  • runtime.enable.auto.create.schema（是否自动在目标端创建 schema）

  • runtime.realtime.concurrent（实时任务并发度）

  • runtime.realtime.failover.minute.dataxcdc (failover 失败重启等待时间单位分钟)

  • runtime.realtime.failover.times.dataxcdc (failover 失败重启次数）

runtime.offline.concurrent

Value

string

设置取值。

1
MigrationType

string

同步类型，枚举值有：

  • FullAndRealtimeIncremental（全量和实时增量，整库实时）

  • RealtimeIncremental（实时增量，单表实时）

  • Full（全量，整库离线）

  • OfflineIncremental（离线增量，整库离线）

  • FullAndOfflineIncremental（全量+离线增量，整库离线）

FullAndRealtimeIncremental
JobType

string

任务类型

  • DatabaseRealtimeMigration(整库实时):将源端多个库的多个表进行流同步，支持仅全量，仅增量，或全量+增量。

  • DatabaseOfflineMigration(整库离线):将源端多个库的多个表进行批同步，支持仅全量，仅增量，或全量+增量。

  • SingleTableRealtimeMigration(单表实时):将源端单个表进行流同步。

DatabaseRealtimeMigration
ProjectId

integer

DataWorks 工作空间的 ID。您可以登录 DataWorks 控制台，进入工作空间配置页面获取工作空间 ID。

该参数用来确定本次 API 调用操作使用的 DataWorks 工作空间。

98330
ResourceSettings

object

资源设置。

OfflineResourceSettings

object

离线同步资源。

RequestedCu

number

离线同步任务使用的调度资源组 cu。

2.0
ResourceGroupIdentifier

string

离线同步使用的数据集成资源组名称。

di_resourcegroup_v1
RealtimeResourceSettings

object

实时同步资源。

RequestedCu

number

实时同步使用的数据集成资源组 cu

2.0
ResourceGroupIdentifier

string

实时任务使用的数据集成资源组名称。

di_resourcegroup_v1
ScheduleResourceSettings

object

调度资源

RequestedCu

number

离线调度任务使用的数据集成资源组 cu

2.0
ResourceGroupIdentifier

string

离线调度任务使用的调度资源组名称。

schedual_resourcegroup_v1
SourceDataSourceSettings

array<object>

源端数据源设置数组列表。

array<object>

单个源端数据源设置。

DataSourceName

string

数据源名称。

dw_mysql
DataSourceProperties

object

数据源属性。

Encoding

string

数据库编码。

UTF-8

Timezone

string

时区

GMT+8

SourceDataSourceType

string

源端数据源类型，枚举值： PolarDB，MySQL，Kafka，LogHub，Hologres，Oracle，OceanBase，MongoDB，RedShift，Hive，SQLServer，Doris，ClickHouse。

Mysql
TableMappings

array<object>

同步对象转换映射列表，列表中每个元素描述了一组源端同步对象选择规则列表和在该组同步对象上应用的同步对象转换规则列表。

说明

[ { "SourceObjectSelectionRules":[ { "ObjectType":"Database", "Action":"Include", "ExpressionType":"Exact", "Expression":"biz_db" }, { "ObjectType":"Schema", "Action":"Include", "ExpressionType":"Exact", "Expression":"s1" }, { "ObjectType":"Table", "Action":"Include", "ExpressionType":"Exact", "Expression":"table1" } ], "TransformationRuleNames":[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema" } ] } ]

array<object>

每条规则代表选择需要同步的一个表。

SourceObjectSelectionRules

array<object>

每条规则可选择待同步源端对象的集合，多条规则组成选一个表。

object

每条规则可选择待同步源端对象的不同对象类型，如选择源端数据库、源端数据表。

Action

string

选择动作，取值范围：Include/Exclude

Include
Expression

string

表达式。

mysql_table_1
ExpressionType

string

表达式类型，取值范围：Exact/Regex

Exact
ObjectType

string

对象类型，可选的枚举值：

  • Table（表）

  • Schema（schema）

  • Database（数据库）

Table
TransformationRules

array<object>

同步对象转换规则定义列表，列表中每个元素为一条转换规则定义。

object

源端对象上应用的转换规则。

RuleName

string

规则名称，当动作类型和动作作用的目标类型相同时，规则名称需保证唯一性。

rename_rule_1
RuleActionType

string

动作类型，可选的枚举值：

  • DefinePrimaryKey（定义主键）

  • Rename（重命名）

  • AddColumn（增加列）

  • HandleDml（DML 处理）

AddColumn
RuleTargetType

string

动作作用的目标类型，可选的枚举值：

  • Table（表）

  • Schema（schema）

  • Database（数据库）

Table
TransformationRules

array<object>

同步对象转换规则定义列表。

说明

[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema", "RuleExpression":"{"expression":"${srcDatasoureName}_${srcDatabaseName}"}" } ]

object

同步对象转换规则定义列表，列表中每个元素为一条转换规则定义。

RuleActionType

string

动作类型，可选的枚举值：

  • DefinePrimaryKey（定义主键）

  • Rename（重命名）

  • AddColumn（增加列）

  • HandleDml（DML 处理）

  • DefineIncrementalCondition（定义增量条件）

  • DefineCycleScheduleSettings（定义周期调度设置）

  • DefinePartitionKey（定义分区列）

Rename
RuleExpression

string

规则表达式，json string 格式。

  1. 重命名规则（Rename）

  • 示例：{"expression":"${srcDatasourceName}_${srcDatabaseName}_0922" }

  • expression：为重命名转换规则表达式，表达式内支持变量包括：${srcDatasourceName}（源端数据源名）、${srcDatabaseName}（源端库名）、${srcTableName}（源端表名）。

  1. 加列规则（AddColumn)

  • 示例：{"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}

  • 如不指定，默认规则为不加列不复制。

  • columnName：附加的列名称。

  • columnValueType：附加的列取值类型，包括 Constant（常量）、Variable（变量）。

  • columnValue：附加的列取值。当 columnValueType=Constant 时，value 为自定义常量，String 类型。当 columnValueType=Variable 时，value 为内置变量。内置变量可选值包括：EXECUTE_TIME（执行时间，Long 类型）、DB_NAME_SRC（源端数据库名称，String 类型）、DATASOURCE_NAME_SRC（源端数据源名称，String 类型）、TABLE_NAME_SRC（源端表名，String 类型）、DB_NAME_DEST（目标端数据库名称，String 类型）、DATASOURCE_NAME_DEST（目标端数据源名称，String 类型）、TABLE_NAME_DEST（目标端表名，String 类型）、DB_NAME_SRC_TRANSED（转换后的数据库名称，String 类型）。

  1. 指定目标端表的主键列列名（DefinePrimaryKey）

  • 示例：{"columns":["ukcolumn1","ukcolumn2"]}

  • 如不指定默认使用源端主键列。

  • 当目标端为已有表：数据集成系统不会修改目标端表结构，如果指定的主键列不在目标端的列集合中，任务启动会报错提示。

  • 当目标端为自动建表：数据集成系统会自动创建目标端表结构，表结构包含定义的主键列。当指定的主键列不在目标端的列集合中时，任务启动会报错提示。

  1. DML 处理规则（HandleDml）

  • 示例： {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}

  • 如不指定，默认规则为 Insert、Update、Delete 均为 Normal

  • dmlType：DML 操作类型，Insert（插入）、Update（更新）、Delete（删除）

  • dmlAction：DML 处理策略，Normal（正常处理）、Ignore（忽略）、Filter（有条件的正常处理，当 dmlType=Update/Delete 时使用）、LogicalDelete（逻辑删除）

  • filterCondition：DML 过滤条件，当 dmlAction=Filter 时使用

  1. 增量条件（DefineIncrementalCondition）

  • 示例： {"where":"id > 0"}

  • 指定增量过滤条件

  1. 周期调度参数（DefineCycleScheduleSettings）

  • 示例： {"cronExpress":" * * * * * *", "cycleType":"1"}

  • 指定周期任务调度参数

  1. 指定分区键（DefinePartitionKey）

  • 示例： {"columns":["id"]}

  • 指定分区键

{"expression":"${srcDatasoureName}_${srcDatabaseName}"}
RuleName

string

规则名称，在一种动作类型+动作作用的目标类型下规则名称唯一。

rename_rule_1
RuleTargetType

string

动作作用的目标类型，可选的枚举值：

  • Table（表）

  • Schema（schema）

  • Database（数据库）

Table
JobStatus

string

任务状态。 同步状态，取值范围：

  • Finished：运行成功已结束

  • Failed：运行失败

  • Running：运行中

  • Initialized：初始化完成(未启动）

  • Stopping：停止中

  • Stop：停止

Running
DIJobId deprecated

string

该字段已废弃，请使用 Id 字段。

32601
Owner

string

示例

正常返回示例

JSON格式

{
  "RequestId": "C99E2BE6-9DEA-5C2E-8F51-1DDCFEADE490",
  "PagingInfo": {
    "Id": 32601,
    "Description": "description",
    "DestinationDataSourceSettings": [
      {
        "DataSourceName": "dw_mysql"
      }
    ],
    "DestinationDataSourceType": "Hologres",
    "JobName": "imp_ods_dms_det_dealer_info_df",
    "JobSettings": {
      "ChannelSettings": "{\"structInfo\":\"MANAGED\",\"storageType\":\"TEXTFILE\",\"writeMode\":\"APPEND\",\"partitionColumns\":[{\"columnName\":\"pt\",\"columnType\":\"STRING\",\"comment\":\"\"}],\"fieldDelimiter\":\"\"}",
      "ColumnDataTypeSettings": [
        {
          "DestinationDataType": "text",
          "SourceDataType": "bigint"
        }
      ],
      "CycleScheduleSettings": {
        "CycleMigrationType": "Full",
        "ScheduleParameters": "bizdate=$bizdate\n"
      },
      "DdlHandlingSettings": [
        {
          "Action": "Ignore",
          "Type": "CreateTable"
        }
      ],
      "RuntimeSettings": [
        {
          "Name": "runtime.offline.concurrent\n",
          "Value": "1"
        }
      ]
    },
    "MigrationType": "FullAndRealtimeIncremental",
    "JobType": "DatabaseRealtimeMigration",
    "ProjectId": 98330,
    "ResourceSettings": {
      "OfflineResourceSettings": {
        "RequestedCu": 2,
        "ResourceGroupIdentifier": "di_resourcegroup_v1"
      },
      "RealtimeResourceSettings": {
        "RequestedCu": 2,
        "ResourceGroupIdentifier": "di_resourcegroup_v1"
      },
      "ScheduleResourceSettings": {
        "RequestedCu": 2,
        "ResourceGroupIdentifier": "schedual_resourcegroup_v1"
      }
    },
    "SourceDataSourceSettings": [
      {
        "DataSourceName": "dw_mysql",
        "DataSourceProperties": {
          "Encoding": "UTF-8\n",
          "Timezone": "GMT+8\n"
        }
      }
    ],
    "SourceDataSourceType": "Mysql",
    "TableMappings": [
      {
        "SourceObjectSelectionRules": [
          {
            "Action": "Include",
            "Expression": "mysql_table_1",
            "ExpressionType": "Exact",
            "ObjectType": "Table"
          }
        ],
        "TransformationRules": [
          {
            "RuleName": "rename_rule_1",
            "RuleActionType": "AddColumn",
            "RuleTargetType": "Table"
          }
        ]
      }
    ],
    "TransformationRules": [
      {
        "RuleActionType": "Rename",
        "RuleExpression": "{\"expression\":\"${srcDatasoureName}_${srcDatabaseName}\"}",
        "RuleName": "rename_rule_1",
        "RuleTargetType": "Table"
      }
    ],
    "JobStatus": "Running",
    "DIJobId": "32601",
    "Owner": ""
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。

上一篇：StartDIJob - 启动数据集成同步任务下一篇：GetDIJobLog - 查看数据集成同步任务的运行日志