CreateStreamingJob - 创建实时数据同步任务

创建实时数据同步任务。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
gpdb:CreateStreamingJobcreate
  • DBInstance
    acs:gpdb:{#regionId}:{#accountId}:dbinstance/{#DBInstanceId}

请求参数

名称类型必填描述示例值
RegionIdstring

地域 ID。

说明 您可以调用 DescribeRegions 接口查看可用的地域 ID。
cn-beijing
DBInstanceIdstring

实例 ID。

gp-bp10g78o9807yv9h3
DataSourceIdstring

数据源 ID。

1
JobDescriptionstring

任务描述。

test-job
JobNamestring

任务名称。

test-job
Modestring

配置模式

  1. basic 模式需要指定一些配置字段
  2. professional 支持提交 yaml 文件
basic / professional
SrcColumnsarray

源端数据字段列表。

string

源端数据字段键值。

src_column_1
DestColumnsarray

目标数据表映射字段列表。

string

目标表里面的映射字段键值。

dest_column_1
Accountstring

目标数据库账号。

test-account
Passwordstring

目标数据库密码。

pwd123
DestDatabasestring

目标数据库名称。

dest-db
DestSchemastring

目标命名空间。

dest-schema
DestTablestring

目标表名称。

dest-table
WriteModestring

写入模式。

枚举值:
  • MERGEMERGE
  • INSERTINSERT
  • UPDATEUPDATE
INSERT/UPDATE/MERGE
TryRunboolean

是否测试实时任务,取值:

  • true

  • false

默认值:false。

true
JobConfigstring

任务配置文件,专业模式必填。

DATABASE: adbpgss_test USER: adbpgss_test PASSWORD: adbpgssTest HOST: gp-xxx-master.gpdb.rds-aliyun-pre.rds.aliyuncs.com PORT: 5432 KAFKA: INPUT: SOURCE: BROKERS: broker1:9092,broker2:9092,broker3:9092 TOPIC: testtopic FALLBACK_OFFSET: earliest KEY: COLUMNS: - NAME: customer_id TYPE: int FORMAT: delimited DELIMITED_OPTION: DELIMITER: '|' VALUE: COLUMNS: - TYPE: integer NAME: l_orderkey - TYPE: integer NAME: l_partkey - TYPE: integer NAME: l_suppkey - TYPE: integer NAME: l_linenumber - TYPE: decimal NAME: l_quantity - TYPE: decimal NAME: l_extendedprice - TYPE: decimal NAME: l_discount - TYPE: decimal NAME: l_tax - TYPE: char NAME: l_returnflag - TYPE: char NAME: l_linestatus - TYPE: date NAME: l_shipdate - TYPE: date NAME: l_commitdate - TYPE: date NAME: l_receiptdate - TYPE: text NAME: l_shipinstruct - TYPE: text NAME: l_shipmode - TYPE: text NAME: l_comment FORMAT: delimited DELIMITED_OPTION: DELIMITER: '|' ERROR_LIMIT: 10 OUTPUT: SCHEMA: adbpgss_test TABLE: write_with_insert_plaintext MODE: MERGE MATCH_COLUMNS: - l_orderkey - l_partkey - l_suppkey UPDATE_COLUMNS: - l_linenumber - l_quantity - l_extendedprice - l_discount - l_tax - l_returnflag - l_linestatus - l_shipdate - l_commitdate - l_receiptdate - l_shipinstruct - l_shipmode - l_comment MAPPING: - EXPRESSION: l_orderkey NAME: l_orderkey - EXPRESSION: l_partkey NAME: l_partkey - EXPRESSION: l_suppkey NAME: l_suppkey - EXPRESSION: l_linenumber NAME: l_linenumber - EXPRESSION: l_quantity NAME: l_quantity - EXPRESSION: l_extendedprice NAME: l_extendedprice - EXPRESSION: l_discount NAME: l_discount - EXPRESSION: l_tax NAME: l_tax - EXPRESSION: l_returnflag NAME: l_returnflag - EXPRESSION: l_linestatus NAME: l_linestatus - EXPRESSION: l_shipdate NAME: l_shipdate - EXPRESSION: l_commitdate NAME: l_commitdate - EXPRESSION: l_receiptdate NAME: l_receiptdate - EXPRESSION: l_shipinstruct NAME: l_shipinstruct - EXPRESSION: l_shipmode NAME: l_shipmode - EXPRESSION: l_comment NAME: l_comment COMMIT: MAX_ROW: 1000 MINIMAL_INTERVAL: 1000 CONSISTENCY: ATLEAST POLL: BATCHSIZE: 1000 TIMEOUT: 1000 PROPERTIES: group.id: testgroup
GroupNamestring

kafka 分组名称

group_name。
FallbackOffsetstring

FallbackOffset 回退点位,回退偏移量

  • FallbackOffset 参数定义了当 consumer 没有请求需要消费的位点或者请求的消费的位点超出当前 kafka 集群的记录的位点信息的时候的行为。可以选择从 earliest(最新)或者 latest(最晚)位点开始消费。
枚举值:
  • EARLIESTEARLIEST
  • LATESTLATEST
EARLIEST / LATEST
MatchColumnsarray

匹配列,通常为目标表的所有主键列,此配置内所有列的值相同即视为两行数据为重复数据。

string

匹配字段键值。

column_1
UpdateColumnsarray

更新列,通常为目标表的所有非主键列,当通过 MatchColumns 确定数据重复时,通过更新 UpdateColumns 列的值,产生使新数据覆盖旧数据的效果。

string

更新字段键值。

column_1
ErrorLimitCountlong

kafka 中的数据与 adbpg 目标表不匹配造时会造成写入失败,此值为允许错误行的行数,超出后会造成任务失败。

5
Consistencystring

投递保证。

ATLEAST / EXACTLY

返回参数

名称类型描述示例值
object
RequestIdstring

请求 ID。

B4CAF581-2AC7-41AD-8940-D56DF7AADF5B
JobIdinteger

任务 ID。

1

示例

正常返回示例

JSON格式

{
  "RequestId": "B4CAF581-2AC7-41AD-8940-D56DF7AADF5B",
  "JobId": 1
}

错误码

访问错误中心查看更多错误码。