GetDIJob - 查看数据集成同步任务配置详情_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

查看数据集成任务。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称	类型	必填	描述	示例值
Id	long	否	实例 ID。	11588
WithDetails	boolean	否	是否返回详细配置信息，详细配置信息包括 TransformationRules、TableMappings、JobSettings。默认返回。	true
ProjectId	long	否	DataWorks 工作空间 ID。您可以通过 ListProjects 接口获取工作空间 ID。	10000
DIJobId`deprecated`	long	否	该字段已废弃，请使用 Id 字段。	11588

返回参数

名称	类型	描述	示例值
	object
RequestId	string	请求的 ID。用于定位日志，排查问题。	C99E2BE6-9DEA-5C2E-8F51-1DDCFEADE490
PagingInfo	object	分页信息
Id	long	任务 ID。	32601
Description	string	描述。	description
DestinationDataSourceSettings	array<object>	目的端数据源属性列表。
DestinationDataSourceSettings	object	单个目的端数据源属性。
DataSourceName	string	目的端数据源名称。	dw_mysql
DestinationDataSourceType	string	目标端数据源类型，枚举值：Hologres，OSS-HDFS，OSS，MaxCompute，LogHub，StarRocks，DataHub，AnalyticDB_For_MySQL，Kafka，Hive。	Hologres
JobName	string	任务名称。	imp_ods_dms_det_dealer_info_df
JobSettings	object	运行时设置。
ChannelSettings	string	通道相关任务设置，可以对一些特定通道进行特殊配置，目前支持 Holo2Holo（从 holo 同步到 holo），Holo2Kafka（从 Holo 同步到 Kafka） Holo2Kafka 示例：{"destinationChannelSettings":{"kafkaClientProperties":[{"key":"linger.ms","value":"100"}],"keyColumns":["col3"],"writeMode":"canal"}} kafkaClientProperties：kafka producer 参数，写入 kafka 时使用 keyColumns，需要写入的 kafka 列取值 writeMode，kafka 写入格式，目前支持 json/canal Holo2Holo 示例： {"destinationChannelSettings":{"conflictMode":"replace","dynamicColumnAction":"replay","writeMode":"replay"}} conflictMode: 写入 holo 冲突处理策略，replace-覆盖、ignore-忽略 writeMode: 写入 holo 方式，replay-重放、insert-插入 dynamicColumnAction：写入 holo 动态列方式 replay-重放、insert-插入，ignore-忽略	{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""}
ColumnDataTypeSettings	array<object>	列类型映射。
ColumnDataTypeSettings	object	列类型映射。
DestinationDataType	string	目标端类型。如 bigint，boolean，string，text，datetime，timestamp，decimal，binary，不同数据源类型会有类型差异	text
SourceDataType	string	源端类型。如 bigint，boolean，string，text，datetime，timestamp，decimal，binary，不同数据源类型会有类型差异	bigint
CycleScheduleSettings	object	周期调度设置。
CycleMigrationType	string	需要周期调度的同步类型。取值范围： Full：全量 OfflineIncremental：离线增量	Full
ScheduleParameters	string	调度参数。	bizdate=$bizdate
DdlHandlingSettings	array<object>	DDL 类型处理数组，包含一系列需要处理的 DDL 类型以及对应规则。
DdlHandlingSettings	object	单条 DDL 类型处理规则。
Action	string	处理动作，可选的枚举值： Ignore（忽略） Critical（报错） Normal（正常处理）	Ignore
Type	string	DDL 类型，可选的枚举值： RenameColumn（重命名列） ModifyColumn（重命名列） CreateTable（重命名列） TruncateTable（清空表） DropTable（删除表）	CreateTable
RuntimeSettings	array<object>	运行时设置。
RuntimeSettings	object	运行时设置。
Name	string	设置名称，可选的枚举值： src.offline.datasource.max.connection（离线批量任务源端最大连接数） dst.offline.truncate (是否清空目标表） runtime.offline.speed.limit.enable（离线批量任务是否开启限流） runtime.offline.concurrent（离线批量同步任务并发度） runtime.enable.auto.create.schema（是否自动在目标端创建 schema） runtime.realtime.concurrent（实时任务并发度） runtime.realtime.failover.minute.dataxcdc (failover 失败重启等待时间单位分钟) runtime.realtime.failover.times.dataxcdc (failover 失败重启次数）	runtime.offline.concurrent
Value	string	设置取值。	1
MigrationType	string	同步类型，枚举值有： FullAndRealtimeIncremental（全量和实时增量，整库实时） RealtimeIncremental（实时增量，单表实时） Full（全量，整库离线） OfflineIncremental（离线增量，整库离线） FullAndOfflineIncremental（全量+离线增量，整库离线）	FullAndRealtimeIncremental
JobType	string	任务类型 DatabaseRealtimeMigration(整库实时):将源端多个库的多个表进行流同步，支持仅全量，仅增量，或全量+增量。 DatabaseOfflineMigration(整库离线):将源端多个库的多个表进行批同步，支持仅全量，仅增量，或全量+增量。 SingleTableRealtimeMigration(单表实时):将源端单个表进行流同步。	DatabaseRealtimeMigration
ProjectId	long	DataWorks 工作空间的 ID。您可以登录 DataWorks 控制台，进入工作空间配置页面获取工作空间 ID。该参数用来确定本次 API 调用操作使用的 DataWorks 工作空间。	98330
ResourceSettings	object	资源设置。
OfflineResourceSettings	object	离线同步资源。
RequestedCu	double	离线同步任务使用的调度资源组 cu。	2.0
ResourceGroupIdentifier	string	离线同步使用的数据集成资源组名称。	di_resourcegroup_v1
RealtimeResourceSettings	object	实时同步资源。
RequestedCu	double	实时同步使用的数据集成资源组 cu	2.0
ResourceGroupIdentifier	string	实时任务使用的数据集成资源组名称。	di_resourcegroup_v1
ScheduleResourceSettings	object	调度资源
RequestedCu	double	离线调度任务使用的数据集成资源组 cu	2.0
ResourceGroupIdentifier	string	离线调度任务使用的调度资源组名称。	schedual_resourcegroup_v1
SourceDataSourceSettings	array<object>	源端数据源设置数组列表。
SourceDataSourceSettings	object	单个源端数据源设置。
DataSourceName	string	数据源名称。	dw_mysql
DataSourceProperties	object	数据源属性。
Encoding	string	数据库编码。	UTF-8
Timezone	string	时区	GMT+8
SourceDataSourceType	string	源端数据源类型，枚举值： PolarDB，MySQL，Kafka，LogHub，Hologres，Oracle，OceanBase，MongoDB，RedShift，Hive，SQLServer，Doris，ClickHouse。	Mysql
TableMappings	array<object>	同步对象转换映射列表，列表中每个元素描述了一组源端同步对象选择规则列表和在该组同步对象上应用的同步对象转换规则列表。说明 [ { "SourceObjectSelectionRules":[ { "ObjectType":"Database", "Action":"Include", "ExpressionType":"Exact", "Expression":"biz_db" }, { "ObjectType":"Schema", "Action":"Include", "ExpressionType":"Exact", "Expression":"s1" }, { "ObjectType":"Table", "Action":"Include", "ExpressionType":"Exact", "Expression":"table1" } ], "TransformationRuleNames":[ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema" } ] } ]
TableMappings	object	每条规则代表选择需要同步的一个表。
SourceObjectSelectionRules	array<object>	每条规则可选择待同步源端对象的集合，多条规则组成选一个表。
SourceObjectSelectionRules	object	每条规则可选择待同步源端对象的不同对象类型，如选择源端数据库、源端数据表。
Action	string	选择动作，取值范围：Include/Exclude	Include
Expression	string	表达式。	mysql_table_1
ExpressionType	string	表达式类型，取值范围：Exact/Regex	Exact
ObjectType	string	对象类型，可选的枚举值： Table（表） Schema（schema） Database（数据库）	Table
TransformationRules	array<object>	同步对象转换规则定义列表，列表中每个元素为一条转换规则定义。
TransformationRuleNames	object	源端对象上应用的转换规则。
RuleName	string	规则名称，当动作类型和动作作用的目标类型相同时，规则名称需保证唯一性。	rename_rule_1
RuleActionType	string	动作类型，可选的枚举值： DefinePrimaryKey（定义主键） Rename（重命名） AddColumn（增加列） HandleDml（DML 处理）	AddColumn
RuleTargetType	string	动作作用的目标类型，可选的枚举值： Table（表） Schema（schema） Database（数据库）	Table
TransformationRules	array<object>	同步对象转换规则定义列表。说明 [ { "RuleName":"my_database_rename_rule", "RuleActionType":"Rename", "RuleTargetType":"Schema", "RuleExpression":"{"expression":"${srcDatasoureName}_${srcDatabaseName}"}" } ]
TransformationRules	object	同步对象转换规则定义列表，列表中每个元素为一条转换规则定义。
RuleActionType	string	动作类型，可选的枚举值： DefinePrimaryKey（定义主键） Rename（重命名） AddColumn（增加列） HandleDml（DML 处理） DefineIncrementalCondition（定义增量条件） DefineCycleScheduleSettings（定义周期调度设置） DefinePartitionKey（定义分区列）	Rename
RuleExpression	string	规则表达式，json string 格式。重命名规则（Rename）示例：{"expression":"${srcDatasourceName}_${srcDatabaseName}_0922" } expression：为重命名转换规则表达式，表达式内支持变量包括：${srcDatasourceName}（源端数据源名）、${srcDatabaseName}（源端库名）、${srcTableName}（源端表名）。加列规则（AddColumn) 示例：{"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]} 如不指定，默认规则为不加列不复制。 columnName：附加的列名称。 columnValueType：附加的列取值类型，包括 Constant（常量）、Variable（变量）。 columnValue：附加的列取值。当 columnValueType=Constant 时，value 为自定义常量，String 类型。当 columnValueType=Variable 时，value 为内置变量。内置变量可选值包括：EXECUTE_TIME（执行时间，Long 类型）、DB_NAME_SRC（源端数据库名称，String 类型）、DATASOURCE_NAME_SRC（源端数据源名称，String 类型）、TABLE_NAME_SRC（源端表名，String 类型）、DB_NAME_DEST（目标端数据库名称，String 类型）、DATASOURCE_NAME_DEST（目标端数据源名称，String 类型）、TABLE_NAME_DEST（目标端表名，String 类型）、DB_NAME_SRC_TRANSED（转换后的数据库名称，String 类型）。指定目标端表的主键列列名（DefinePrimaryKey）示例：{"columns":["ukcolumn1","ukcolumn2"]} 如不指定默认使用源端主键列。当目标端为已有表：数据集成系统不会修改目标端表结构，如果指定的主键列不在目标端的列集合中，任务启动会报错提示。当目标端为自动建表：数据集成系统会自动创建目标端表结构，表结构包含定义的主键列。当指定的主键列不在目标端的列集合中时，任务启动会报错提示。 DML 处理规则（HandleDml）示例： {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]} 如不指定，默认规则为 Insert、Update、Delete 均为 Normal dmlType：DML 操作类型，Insert（插入）、Update（更新）、Delete（删除） dmlAction：DML 处理策略，Normal（正常处理）、Ignore（忽略）、Filter（有条件的正常处理，当 dmlType=Update/Delete 时使用）、LogicalDelete（逻辑删除） filterCondition：DML 过滤条件，当 dmlAction=Filter 时使用增量条件（DefineIncrementalCondition）示例： {"where":"id > 0"} 指定增量过滤条件周期调度参数（DefineCycleScheduleSettings）示例： {"cronExpress":" * * * * * *", "cycleType":"1"} 指定周期任务调度参数指定分区键（DefinePartitionKey）示例： {"columns":["id"]} 指定分区键	{"expression":"${srcDatasoureName}_${srcDatabaseName}"}
RuleName	string	规则名称，在一种动作类型+动作作用的目标类型下规则名称唯一。	rename_rule_1
RuleTargetType	string	动作作用的目标类型，可选的枚举值： Table（表） Schema（schema） Database（数据库）	Table
JobStatus	string	任务状态。同步状态，取值范围： Finished：运行成功已结束 Failed：运行失败 Running：运行中 Initialized：初始化完成(未启动） Stopping：停止中 Stop：停止	Running
DIJobId`deprecated`	string	该字段已废弃，请使用 Id 字段。	32601

示例

正常返回示例

JSON格式

{
  "RequestId": "C99E2BE6-9DEA-5C2E-8F51-1DDCFEADE490",
  "PagingInfo": {
    "Id": 32601,
    "Description": "description",
    "DestinationDataSourceSettings": [
      {
        "DataSourceName": "dw_mysql"
      }
    ],
    "DestinationDataSourceType": "Hologres",
    "JobName": "imp_ods_dms_det_dealer_info_df",
    "JobSettings": {
      "ChannelSettings": "{\"structInfo\":\"MANAGED\",\"storageType\":\"TEXTFILE\",\"writeMode\":\"APPEND\",\"partitionColumns\":[{\"columnName\":\"pt\",\"columnType\":\"STRING\",\"comment\":\"\"}],\"fieldDelimiter\":\"\"}",
      "ColumnDataTypeSettings": [
        {
          "DestinationDataType": "text",
          "SourceDataType": "bigint"
        }
      ],
      "CycleScheduleSettings": {
        "CycleMigrationType": "Full",
        "ScheduleParameters": "bizdate=$bizdate\n"
      },
      "DdlHandlingSettings": [
        {
          "Action": "Ignore",
          "Type": "CreateTable"
        }
      ],
      "RuntimeSettings": [
        {
          "Name": "runtime.offline.concurrent\n",
          "Value": "1"
        }
      ]
    },
    "MigrationType": "FullAndRealtimeIncremental",
    "JobType": "DatabaseRealtimeMigration",
    "ProjectId": 98330,
    "ResourceSettings": {
      "OfflineResourceSettings": {
        "RequestedCu": 2,
        "ResourceGroupIdentifier": "di_resourcegroup_v1"
      },
      "RealtimeResourceSettings": {
        "RequestedCu": 2,
        "ResourceGroupIdentifier": "di_resourcegroup_v1"
      },
      "ScheduleResourceSettings": {
        "RequestedCu": 2,
        "ResourceGroupIdentifier": "schedual_resourcegroup_v1"
      }
    },
    "SourceDataSourceSettings": [
      {
        "DataSourceName": "dw_mysql",
        "DataSourceProperties": {
          "Encoding": "UTF-8\n",
          "Timezone": "GMT+8\n"
        }
      }
    ],
    "SourceDataSourceType": "Mysql",
    "TableMappings": [
      {
        "SourceObjectSelectionRules": [
          {
            "Action": "Include",
            "Expression": "mysql_table_1",
            "ExpressionType": "Exact",
            "ObjectType": "Table"
          }
        ],
        "TransformationRules": [
          {
            "RuleName": "rename_rule_1",
            "RuleActionType": "AddColumn",
            "RuleTargetType": "Table"
          }
        ]
      }
    ],
    "TransformationRules": [
      {
        "RuleActionType": "Rename",
        "RuleExpression": "{\"expression\":\"${srcDatasoureName}_${srcDatabaseName}\"}",
        "RuleName": "rename_rule_1",
        "RuleTargetType": "Table"
      }
    ],
    "JobStatus": "Running",
    "DIJobId": "32601"
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间	变更内容概要	操作
2025-03-27	OpenAPI 返回结构发生变更	查看变更详情
2025-01-06	OpenAPI 入参发生变更、OpenAPI 返回结构发生变更	查看变更详情
2024-10-15	API 内部配置变更，不影响调用	查看变更详情
2024-10-15	OpenAPI 返回结构发生变更	查看变更详情
2024-10-14	OpenAPI 入参发生变更	查看变更详情