首页 实时计算Flink版 API参考 通用数据结构

通用数据结构

Artifact

Artifact承载了用户启动一个已部署作业所必需的用户侧信息，没有Artifact信息已部署作业无法创建。对于SQL作业是SQL文本以及依赖的udf/connector等，对于JAR作业是使用到的全部的JAR包和依赖文件，对于Python作业是要使用到的py文件以及zip包。

参数名称

类型

示例值

描述

sqlArtifact

SqlArtifact

SQL作业必填信息。

jarArtifact

JarArtifact

JAR作业必填信息。

pythonArtifact

PythonArtifact

Python作业必填信息。

kind

String

SQLSCRIPT

生效作业类型，必填，创建后无法修改。

  • SQLSCRIPT：SQL作业。
  • JAR：JAR作业。
  • PYTHON：Python作业。

AsyncResourcePlanOperationResult

本数据结构代表专家模式的资源配置计划。

参数名称

类型

示例值

描述

ticketStatus

String

FINISHED

异步工单状态。

  • EXECUTING：执行中。
  • FINISHED：执行完成。
  • FAILED：执行失败。

plan

String

{\"ssgProfiles\":[{\"name\":\"default\",\"cpu\":1.13,\"heap\":\"1 gb\",\"offHeap\":\"32 mb\",\"managed\":{},\"extended\":{}}],\"nodes\":[{\"id\":1,\"type\":\"StreamExecTableSourceScan\",\"desc\":\"Source: datagen_source[78]\",\"profile\":{\"group\":\"default\",\"parallelism\":1,\"maxParallelism\":32768,\"minParallelism\":1}},{\"id\":2,\"type\":\"StreamExecSink\",\"desc\":\"Sink: blackhole_sink[79]\",\"profile\":{\"group\":\"default\",\"parallelism\":1,\"maxParallelism\":32768,\"minParallelism\":1}}],\"edges\":[{\"source\":1,\"target\":2,\"mode\":\"PIPELINED\",\"strategy\":\"FORWARD\"}],\"vertices\":{\"717c7b8afebbfb7137f6f0f99beb2a94\":[1,2]}}

专家模式的资源配置计划，ticketStatus状态为FINISHED时返回。

message

String

"create resource plan failed"

工单信息，ticketStatus为FAILED或EXECUTING状态时返回。

BasicResourceSetting

本数据结构表示用户使用的社区版本常用的基础模式资源配置，有别于商业版本提供的专家模式资源配置。

参数名称

类型

示例值

描述

parallelism

Long

4

并发度。

jobmanagerResourceSettingSpec

BasicResourceSettingSpec

JobManager资源设置。

taskmanagerResourceSettingSpec

BasicResourceSettingSpec

TaskManager资源设置。

BasicResourceSettingSpec

本数据结构表示对作业使用CPU和内存资源的包装，依据本数据结构可以生成对JM/TM资源的粗粒度的描述。

参数名称

类型

示例值

描述

cpu

double

2.0

CPU核数。

memory

String

4 GiB

内存，单位GiB。

BatchResourceSetting

本数据结构代表批模式资源设置信息。

参数名称

类型

示例值

描述

maxSlot

Long

10

最大slot数。

basicResourceSetting

BasicResourceSetting

基础模式资源设置。

BriefDeploymentTarget

本数据结构用在Deployment数据结构中，用来描述perjob类型的部署目标。

参数名称

类型

示例值

描述

mode

String

PER_JOB

部署模式。

name

String

vvp-workload

部署目标名称。

BriefResourceSetting

本数据结构用来描述作业在流/批两种模式下能使用的资源情况。

参数名称

类型

示例值

描述

flinkConf

Map

“execution.checkpointing.interval: 180s”

Flink配置。

batchResourceSetting

BatchResourceSetting

运行批模式的资源设置，选择批模式时必填。

streamingResourceSetting

StreamingResourceSetting

运行流模式的资源设置，选择流模式时必填。

Deployment

本数据结构用来描述一个完整的已部署作业的数据结构。

参数名称

类型

示例值

描述

deploymentId

String

00000000-0000-0000-0000-0000012312****

已部署作业ID。

namespace

String

default-namespace

项目空间名称。

name

String

deploymentName

已部署作业名称。

engineVersion

String

vvr-6.0.0-flink-1.15

引擎版本。

description

String

this is a deployment description

描述信息。

creator

String

27846363877456****

创建者。 <props="limitout">

creatorName

String

****@streamcompute.onaliyun.com

创建者名称。

modifier

String

27846363877456****

修改者。

modifierName

String

****@streamcompute.onaliyun.com

修改者名称。

deploymentHasChanged

Boolean

true

已部署作业启动后是否被修改。

artifact

Artifact

用户启动已部署作业必填的数据结构。

flinkConf

Map

{"taskmanager.numberOfTaskSlots":"1"}

Flink配置。

logging

Logging

日志配置。

jobSummary

JobSummary

已部署作业下的作业实例信息汇总。

deploymentTarget

BriefDeploymentTarget

部署目标。

executionMode

String

STREAMING

执行模式。

  • STREAMING：流模式。
  • BATCH：批模式。

DeploymentRestoreStrategy

本数据结构代表已部署作业的启动策略。

参数名称

类型

示例值

描述

kind

String

LATEST_STATE

启动位点类型。

  • NONE：无状态启动。
  • LATEST_SAVEPOINT：最新的作业快照启动。
  • FROM_SAVEPOINT：从指定快照启动。
  • LATEST_STATE：最新状态启动

allowNonRestoredState

Boolean

TRUE

是否无状态启动。

jobStartTimeInMs

Long

1660293803155

无状态启动时间，需输入13位时间戳。当选择无状态启动时，可以设置本参数让所有支持startTime的源表均从该时刻开始读取数据。

savepointId

String

354dde66-a3ae-463e-967a-0b4107fd****

启动作业快照ID，启动策略为FROM_SAVEPOINT时必填。

DeploymentTarget

本数据结构用来描述集群中设置的perjob类型的部署目标相关信息。

参数名称

类型

示例值

描述

name

String

deployment target

perjob类型部署目标名称。

namespace

String

namespace

项目空间名称。

EngineVersionMetadata

本数据结构代表作业引擎版本的基础信息。

参数名称

类型

示例值

描述

engineVersion

String

vvr-6.0.0-flink-1.15

引擎版本名称。

status

String

STABLE

该引擎版本状态。

  • STABLE：稳定版本。
  • BETA：测试版本。
  • DEPRECATED：废弃版本。
  • EXPIRED：过期版本。

features

EngineVersionSupportedFeatures

该引擎版本所支持的特性。

EngineVersionMetadataIndex

本数据结构代表作业引擎版本的汇总信息。

参数名称

类型

示例值

描述

defaultEngineVersion

String

vvr-6.0.1-flink-1.15

默认使用的引擎版本。

engineVersionMetadata

Array of EngineVersionMetadata

所有支持的引擎版本信息。

EngineVersionSupportedFeatures

本数据结构代表该引擎版本支持的特性描述。

参数名称

类型

示例值

描述

useForSqlDeployments

Boolean

true

该引擎版本是否具备提交SQL作业能力。

supportNativeSavepoint

Boolean

true

该引擎版本是否具备支持原生快照的能力。

ExpertResourceSetting

本数据结构代表作业专家模式资源配置的信息。

参数名称

类型

示例值

描述

jobmanagerResourceSettingSpec

BasicResourceSettingSpec

JobManager基础资源设置。

resourcePlan

String

{\"ssgProfiles\":[{\"name\":\"default\",\"cpu\":1.13,\"heap\":\"1 gb\",\"offHeap\":\"32 mb\",\"managed\":{},\"extended\":{}}],\"nodes\":[{\"id\":1,\"type\":\"StreamExecTableSourceScan\",\"desc\":\"Source: datagen_source[78]\",\"profile\":{\"group\":\"default\",\"parallelism\":1,\"maxParallelism\":32768,\"minParallelism\":1}},{\"id\":2,\"type\":\"StreamExecSink\",\"desc\":\"Sink: blackhole_sink[79]\",\"profile\":{\"group\":\"default\",\"parallelism\":1,\"maxParallelism\":32768,\"minParallelism\":1}}],\"edges\":[{\"source\":1,\"target\":2,\"mode\":\"PIPELINED\",\"strategy\":\"FORWARD\"}],\"vertices\":{\"717c7b8afebbfb7137f6f0f99beb2a94\":[1,2]}}

专家模式资源配置计划。

JarArtifact

本数据结构代表JAR类型作业必填的信息。

参数名称

类型

示例值

描述

jarUri

String

https://oss/bucket/test.jar

JAR作业URL全路径。

entryClass

String

org.apapche.flink.test

启动类，需要填写类的全称。

mainArgs

String

start from main

启动类所需参数。

additionalDependencies

Array of String

https://oss/bucket/addition.jar

附加依赖文件的URL全路径。

Job

本数据结构代表已部署作业生成的实例详情。

参数名称

类型

示例值

描述

jobId

String

354dde66-a3ae-463e-967a-0b4107fd****

作业实例ID。

deploymentId

String

354dde66-a3ae-463e-967a-0b4107fd****

已部署作业ID。

deploymentName

String

flinktest

已部署作业名称。

namespace

String

namespacetest

项目空间名称。

executionMode

String

BATCH

作业实例运行模式。

  • STREAM：流模式。
  • BATCH：批模式。

creator

String

27846363877456****

创建者。

creatorName

String

****@streamcompute.onaliyun.com

创建者名称。

modifier

String

27846363877456****

修改者。

modifierName

String

****@streamcompute.onaliyun.com

修改者名称。

startTime

Long

1660190835

作业实例启动时间。

endTime

Long

1660277235

作业实例结束时间。

engineVersion

String

vvr-4.0.14-flink-1.13

作业引擎版本。

flinkConf

Map

{execution.checkpointing.unaligned: false}

作业实例配置。

status

JobStatus

作业实例状态。

metric

JobMetric

作业实例资源信息。

sessionClusterName

String

preview

如果作业实例运行在Session集群，展示该Session集群名称，否则为null。

artifact

Artifact

作业实例内容模版。

logging

Logging

作业实例日志配置。

batchResourceSetting

BatchResourceSetting

批模式资源设置。

streamingResourceSetting

StreamingResourceSetting

流模式资源设置。

restoreStrategy

DeploymentRestoreStrategy

作业实例启动策略。

JobFailure

本数据结构代表作业失败信息。

参数名称

类型

示例值

描述

message

String

Kubernetes deployment resource with name job-8b7db913-5b1f-4ac5-a332-8d50f342**** is not progressing.

失败信息详情。

reason

String

KubernetesDeploymentNotProgressing

失败原因。

failedAt

Long

1660120062

失败时间。

JobMetric

本数据结构表示作业运行实例上资源的指标信息。

参数名称

类型

示例值

描述

totalMemoryByte

Long

4096

内存，单位是Byte。

totalCpu

double

2

CPU。

JobStatus

本数据结构代表作业下生成实例的状态。

参数名称

类型

示例值

描述

currentJobStatus

String

RUNNING

当前实例的状态。

  • STARTING：启动中。
  • RUNNING：运行中。
  • CANCELLING：停止中。
  • FAILED：已失败。
  • CANCELLED：已停止。
  • FINISHED：已完成。

failure

JobFailure

实例失败信息。当作业状态为FAILED的时候，该数据结构有值。

running

JobStatusRunning

实例运行信息。当作业状态为RUNNING的时候，该数据结构有值。

JobStatusRunning

本数据结构表示实例的运行状态。

参数名称

类型

示例值

描述

observedFlinkJobRestarts

Long

4

实例重启次数。

observedFlinkJobStatus

String

RUNNING

当前Flink实例状态。

JobSummary

本数据结构代表作业下所有实例状态的汇总。

参数名称

类型

示例值

描述

starting

Integer

1

启动中实例数。

running

Integer

2

运行中实例数。

cancelling

Integer

0

停止中实例数。

cancelled

Integer

5

已停止实例数。

finished

Integer

4

已完成实例数。

failed

Integer

6

已失败实例数。

Log4jLogger

本数据结构代表作业实例上日志输出的相关配置信息。

参数名称

类型

示例值

描述

loggerName

String

StdOutErrConsoleAppender

输出日志的类的名称。

loggerLevel

String

ERROR

输出日志的级别。

LogReservePolicy

本数据结构代表作业实例上日志保存的相关配置。

参数名称

类型

示例值

描述

openHistory

Boolean

true

是否开启日志保存。

expirationDays

Long

7

开启日志保存后，日志保存天数。

Logging

本数据结构代表作业日志配置的相关信息。

参数名称

类型

示例值

描述

loggingProfile

String

oss

系统日志模版类型。

  • default：默认模版。
  • oss：投递到oss。

log4j2ConfigurationTemplate

String

xml格式文本

自定义日志模版。

log4jLoggers

Array of Log4jLogger

log4j配置。

logReservePolicy

LogReservePolicy

日志保存策略。

PythonArtifact

本数据结构代表Python类型作业必填的信息。

参数名称

类型

示例值

描述

pythonArtifactUri

String

https://oss/bucket/test.py

Python类型作业URL全路径。

mainArgs

String

start from main

启动参数。

entryModule

String

test.py

Python的启动模块。

additionalDependencies

Array of String

https://oss/bucket/addition.py

依赖文件URL路径。

additionalPythonLibraries

Array of String

https://oss/bucket/additionlib.py

Python lib文件的URL路径。

additionalPythonArchives

Array of String

https://oss/bucket/additionArchives.zip

Python archive文件的URL路径。

Savepoint

本数据结构代表作业快照相关信息。

参数名称

类型

示例值

描述

savepointId

String

354dde66-a3ae-463e-967a-0b4107fd****

作业快照ID。

deploymentId

String

1d716b22-6aad-4be2-85c2-50cfc757****

已部署作业ID。

jobId

String

5af678c0-7db0-4650-94c2-d2604f0a****

作业实例ID。

namespace

String

namespacetest

项目空间名称。

savepointOrigin

String

USER_REQUEST

作业快照生成方式。

  • USER_REQUEST：用户手动生成。
  • STOP_WITH_SAVEPOINT：停止作业生成。
  • RETAINED_CHECKPOINT：返回的系统检查点。

nativeFormat

Boolean

TRUE

作业快照是否原生模式。

description

String

作业快照1

作业快照描述。

stopWithDrainEnabled

Boolean

TRUE

是否使用stop-with-drain模式。

savepointLocation

String

https://oss/bucket/flink/flink-jobs/namespaces/vvp-team/deployments/5a19a71b-1c42-4f34-94fd-86cf60782c81/checkpoints/sp-3285

作业快照存储路径。

status

SavepointStatus

作业快照状态。

createdAt

Long

1659066711

作业快照创建时间。

modifiedAt

Long

1659069473

作业快照最新修改时间。

SavepointFailure

本数据结构代表作业快照失败的相关信息。

参数名称

类型

示例值

描述

message

String

create savepoint failed

失败信息。

reason

String

IO Exception

失败原因。

failedAt

Long

1655006835

失败时间。

SavepointStatus

本数据结构代表作业快照的状态信息。

参数名称

类型

示例值

描述

state

String

COMPLETED

作业快照状态。

  • STARTED：生成中。
  • COMPLETED：已完成。
  • FAILED：已失败。

failure

SavepointFailure

作业快照失败详情。

SqlArtifact

本数据结构代表SQL类型作业必填的信息。

参数名称

类型

示例值

描述

sqlScript

String

CREATE TEMPORARY TABLE datagen_source( name VARCHAR ) WITH ( 'connector' = 'datagen' ); CREATE TEMPORARY TABLE blackhole_sink( name VARCHAR ) with ( 'connector' = 'blackhole' ); INSERT INTO blackhole_sink SELECT name from datagen_source;

SQL作业文本内容。

additionalDependencies

Array of String

https://oss/bucket/addition.jar

附加依赖文件的URL地址。

StartJobRequestBody

本数据结构代表作业启动的相关信息。

参数名称

类型

示例值

描述

deploymentId

String

5a19a71b-1c42-4f34-94fd-86cf6078****

已部署作业ID。

resourceSettingSpec

BriefResourceSetting

作业资源设置。

restoreStrategy

DeploymentRestoreStrategy

作业实例启动位点设置。

StopJobRequestBody

本数据结构代表停止作业的请求信息。

参数名称

类型

示例值

描述

stopStrategy

String

NONE

作业停止策略。

  • NONE：直接停止。
  • STOP_WITH_SAVEPOINT：生成作业快照后停止。
  • STOP_WITH_DRAIN：以drain的方式停止。

StreamingResourceSetting

本数据结构代表作业运行流模式时的资源设置。

参数名称

类型

示例值

描述

resourceSettingMode

String

EXPERT

流模式使用的资源模式。

  • EXPERT：专家模式。
  • BASIC：基础模式。

expertResourceSetting

ExpertResourceSetting

专家模式资源设置。

basicResourceSetting

BasicResourceSetting

基础模式资源设置。

Variable

本数据结构代表变量配置设置的信息。

参数名称

类型

示例值

描述

kind

String

Plain

变量类型。当前仅支持类型Plain。

name

String

variableName

变量名称。

value

String

variableValue

变量值。

description

String

This is a variable description

变量描述信息。
阿里云首页 实时计算Flink版 相关技术圈