创建实时数据同步任务。
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
下表是API对应的授权信息,可以在RAM权限策略语句的Action
元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:
- 操作:是指具体的权限点。
- 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
- 资源类型:是指操作中支持授权的资源类型。具体说明如下:
- 对于必选的资源类型,用背景高亮的方式表示。
- 对于不支持资源级授权的操作,用
全部资源
表示。
- 条件关键字:是指云产品自身定义的条件关键字。
- 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作 | 访问级别 | 资源类型 | 条件关键字 | 关联操作 |
---|---|---|---|---|
gpdb:CreateStreamingJob | create | *DBInstance acs:gpdb:{#regionId}:{#accountId}:dbinstance/{#DBInstanceId} |
| 无 |
请求参数
名称 | 类型 | 必填 | 描述 | 示例值 |
---|---|---|---|---|
RegionId | string | 否 | 地域 ID。 说明
您可以调用 DescribeRegions 接口查看可用的地域 ID。
| cn-beijing |
DBInstanceId | string | 是 | 实例 ID。 | gp-bp10g78o9807yv9h3 |
DataSourceId | string | 是 | 数据源 ID。 | 1 |
JobDescription | string | 否 | 任务描述。 | test-job |
JobName | string | 是 | 任务名称。 | test-job |
Mode | string | 否 | 配置模式
| basic / professional |
SrcColumns | array | 否 | 源端数据字段列表。 | |
string | 否 | 源端数据字段键值。 | src_column_1 | |
DestColumns | array | 否 | 目标数据表映射字段列表。 | |
string | 否 | 目标表里面的映射字段键值。 | dest_column_1 | |
Account | string | 否 | 目标数据库账号。 | test-account |
Password | string | 否 | 目标数据库密码。 | pwd123 |
DestDatabase | string | 否 | 目标数据库名称。 | dest-db |
DestSchema | string | 否 | 目标命名空间。 | dest-schema |
DestTable | string | 否 | 目标表名称。 | dest-table |
WriteMode | string | 否 | 写入模式。 枚举值:
| INSERT/UPDATE/MERGE |
TryRun | boolean | 否 | 是否测试实时任务,取值:
默认值:false。 | true |
JobConfig | string | 否 | 任务配置文件,专业模式必填。 | DATABASE: adbpgss_test USER: adbpgss_test PASSWORD: adbpgssTest HOST: gp-xxx-master.gpdb.rds-aliyun-pre.rds.aliyuncs.com PORT: 5432 KAFKA: INPUT: SOURCE: BROKERS: broker1:9092,broker2:9092,broker3:9092 TOPIC: testtopic FALLBACK_OFFSET: earliest KEY: COLUMNS: - NAME: customer_id TYPE: int FORMAT: delimited DELIMITED_OPTION: DELIMITER: '|' VALUE: COLUMNS: - TYPE: integer NAME: l_orderkey - TYPE: integer NAME: l_partkey - TYPE: integer NAME: l_suppkey - TYPE: integer NAME: l_linenumber - TYPE: decimal NAME: l_quantity - TYPE: decimal NAME: l_extendedprice - TYPE: decimal NAME: l_discount - TYPE: decimal NAME: l_tax - TYPE: char NAME: l_returnflag - TYPE: char NAME: l_linestatus - TYPE: date NAME: l_shipdate - TYPE: date NAME: l_commitdate - TYPE: date NAME: l_receiptdate - TYPE: text NAME: l_shipinstruct - TYPE: text NAME: l_shipmode - TYPE: text NAME: l_comment FORMAT: delimited DELIMITED_OPTION: DELIMITER: '|' ERROR_LIMIT: 10 OUTPUT: SCHEMA: adbpgss_test TABLE: write_with_insert_plaintext MODE: MERGE MATCH_COLUMNS: - l_orderkey - l_partkey - l_suppkey UPDATE_COLUMNS: - l_linenumber - l_quantity - l_extendedprice - l_discount - l_tax - l_returnflag - l_linestatus - l_shipdate - l_commitdate - l_receiptdate - l_shipinstruct - l_shipmode - l_comment MAPPING: - EXPRESSION: l_orderkey NAME: l_orderkey - EXPRESSION: l_partkey NAME: l_partkey - EXPRESSION: l_suppkey NAME: l_suppkey - EXPRESSION: l_linenumber NAME: l_linenumber - EXPRESSION: l_quantity NAME: l_quantity - EXPRESSION: l_extendedprice NAME: l_extendedprice - EXPRESSION: l_discount NAME: l_discount - EXPRESSION: l_tax NAME: l_tax - EXPRESSION: l_returnflag NAME: l_returnflag - EXPRESSION: l_linestatus NAME: l_linestatus - EXPRESSION: l_shipdate NAME: l_shipdate - EXPRESSION: l_commitdate NAME: l_commitdate - EXPRESSION: l_receiptdate NAME: l_receiptdate - EXPRESSION: l_shipinstruct NAME: l_shipinstruct - EXPRESSION: l_shipmode NAME: l_shipmode - EXPRESSION: l_comment NAME: l_comment COMMIT: MAX_ROW: 1000 MINIMAL_INTERVAL: 1000 CONSISTENCY: ATLEAST POLL: BATCHSIZE: 1000 TIMEOUT: 1000 PROPERTIES: group.id: testgroup |
GroupName | string | 否 | kafka 分组名称 | group_name。 |
FallbackOffset | string | 否 | FallbackOffset 回退点位,回退偏移量
枚举值:
| EARLIEST / LATEST |
MatchColumns | array | 否 | 匹配列,通常为目标表的所有主键列,此配置内所有列的值相同即视为两行数据为重复数据。 | |
string | 否 | 匹配字段键值。 | column_1 | |
UpdateColumns | array | 否 | 更新列,通常为目标表的所有非主键列,当通过 MatchColumns 确定数据重复时,通过更新 UpdateColumns 列的值,产生使新数据覆盖旧数据的效果。 | |
string | 否 | 更新字段键值。 | column_1 | |
ErrorLimitCount | long | 否 | kafka 中的数据与 adbpg 目标表不匹配造时会造成写入失败,此值为允许错误行的行数,超出后会造成任务失败。 | 5 |
Consistency | string | 否 | 投递保证。 | ATLEAST / EXACTLY |
返回参数
示例
正常返回示例
JSON
格式
{
"JobId": 1,
"RequestId": "B4CAF581-2AC7-41AD-8940-D56DF7AADF5B"
}
错误码
访问错误中心查看更多错误码。