CreateDataPipeline - 创建数据流水线

更新时间:
复制 MD 格式

创建DataPipeline

接口说明

在指定工作空间中创建一条数据流水线。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。

  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。

  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:

    • 对于必选的资源类型,用前面加 * 表示。

    • 对于不支持资源级授权的操作,用全部资源表示。

  • 条件关键字:是指云产品自身定义的条件关键字。

  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

cms:CreateDataPipeline

create

*DataPipeline

acs:cms:{#regionId}:{#accountId}:workspace/{#Workspace}/datapipeline/{#PipelineName}

无 无

请求语法

POST /workspace/{workspace}/datapipeline HTTP/1.1

路径参数

名称

类型

必填

描述

示例值

workspace

string

是

工作空间名称

workspace-source

请求参数

名称

类型

必填

描述

示例值

body

object

否

创建配置

pipelineName

string

否

流水线名称

export-traces-to-prod

kind

string

否

流水线类型

枚举值:

  • default :

    默认流水线

  • custom :

    自定义流水线

  • export :

    导出流水线

export

description

string

否

流水线描述

Export selected trace services to the target workspace.

source

object

否

数据源

type

string

否

数据源类型

traces-default

config

object

否

数据源配置

runMode

string

否

运行模式

continuous

startFrom

string

否

读取起点

latest

timeRange

object

否

回填时间范围

from

integer

否

开始时间

1722844800

to

integer

否

结束时间

1722848400

processors

array<object>

否

公共处理器

array<object>

否

处理器

name

string

否

处理器名称

drop-health-check

type

string

否

处理器类型

filter

config

object

否

处理器配置

expression

string

否

过滤表达式

attributes["http.route"] != "/health"

fields

array

否

字段列表

string

否

字段路径

attributes.password

script

string

否

SPL 脚本

* | extend latency_ms = duration / 1000000

projections

array<object>

否

字段投影列表

object

否

流水线字段投影

source

string

否

源字段

serviceName

target

string

否

目标字段

service

assignments

array<object>

否

字段赋值列表

object

否

流水线字段赋值

field

string

否

输出字段

latency_ms

expression

string

否

赋值表达式

duration / 1000000.0

applications

array

否

应用列表

string

否

应用名称

checkout-service

rules

array<object>

否

脱敏规则列表

object

否

脱敏规则

mode

string

否

脱敏模式

keyword

types

array

否

内置敏感类型

string

否

敏感类型

EMAIL

keys

array

否

敏感关键词

string

否

关键词

password

maskChar

string

否

掩码字符

#

keepPrefix

integer

否

保留前缀长度

2

keepSuffix

integer

否

保留后缀长度

2

target

object

否

处理目标

workspace

string

否

目标工作空间

target-checkout-ws

selector

object

否

服务选择器

serviceNames

array

否

服务名称列表

["checkout-*","order-service"]

string

否

服务名称模式

checkout-*

scope

object

否

流水线处理器生效范围

metricName

object

否

指标名称范围

matchType

string

否

匹配方式

EXACT

values

array

否

指标名称

["http_requests_total"]

string

否

值

['admit']

serviceName

object

否

服务名称范围

matchType

string

否

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

否

匹配值

string

否

匹配值

['abc']

conditions

array<object>

否

额外字段条件

array<object>

否

字段条件

field

object

否

字段引用

kind

string

否

引用类型

枚举值:

  • field :

    普通字段

  • json :

    JSON 对象键路径

  • label :

    指标标签

field

name

string

否

字段或维度名称

serviceName

container

string

否

JSON 对象容器

attributes

path

array

否

JSON 字面键路径

string

否

JSON 对象键

service.name

matchType

string

否

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

否

匹配值

string

否

匹配值

['abc']

parameters

object

否

扩展参数

{"vendor":"example"}

any

否

参数

{}

outputs

array<object>

否

命名输出

array<object>

否

命名输出

name

string

否

输出名称

checkout_route

processors

array<object>

否

分支处理器

array<object>

否

处理器

name

string

否

处理器名称

drop-health-check

type

string

否

处理器类型

filter

config

object

否

处理器配置

expression

string

否

过滤表达式

attributes["http.route"] != "/health"

fields

array

否

字段列表

string

否

字段路径

attributes.password

script

string

否

SPL 脚本

* | extend latency_ms = duration / 1000000

projections

array<object>

否

字段投影列表

object

否

流水线字段投影

source

string

否

源字段

serviceName

target

string

否

目标字段

service

assignments

array<object>

否

字段赋值列表

object

否

流水线字段赋值

field

string

否

输出字段

latency_ms

expression

string

否

赋值表达式

duration / 1000000.0

applications

array

否

应用列表

string

否

应用名称

checkout-service

rules

array<object>

否

脱敏规则列表

object

否

脱敏规则

mode

string

否

脱敏模式

keyword

types

array

否

内置敏感类型

string

否

敏感类型

EMAIL

keys

array

否

敏感关键词

string

否

关键词

password

maskChar

string

否

掩码字符

#

keepPrefix

integer

否

保留前缀长度

2

keepSuffix

integer

否

保留后缀长度

2

target

object

否

处理目标

workspace

string

否

目标工作空间

target-checkout-ws

selector

object

否

服务选择器

serviceNames

array

否

服务名称列表

["checkout-*","order-service"]

string

否

服务名称模式

checkout-*

scope

object

否

流水线处理器生效范围

metricName

object

否

指标名称范围

matchType

string

否

匹配方式

EXACT

values

array

否

指标名称

["http_requests_total"]

string

否

值

['abc']

serviceName

object

否

服务名称范围

matchType

string

否

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

否

匹配值

string

否

匹配值

['admit']

conditions

array<object>

否

额外字段条件

array<object>

否

字段条件

field

object

否

字段引用

kind

string

否

引用类型

枚举值:

  • field :

    普通字段

  • json :

    JSON 对象键路径

  • label :

    指标标签

label

name

string

否

字段或维度名称

serviceName

container

string

否

JSON 对象容器

attributes

path

array

否

JSON 字面键路径

string

否

JSON 对象键

service.name

matchType

string

否

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

否

匹配值

string

否

匹配值

['abc']

parameters

object

否

扩展参数

{"vendor":"example"}

any

否

参数

{}

sinks

array<object>

否

输出目标

object

否

输出目标

name

string

否

输出目标名称

error-archive

type

string

否

输出目标类型

logstore

project

string

否

SLS Project

customer-project

logstore

string

否

SLS Logstore

error-spans

datasets

array

否

Dataset 列表

string

否

Dataset 名称

__UNNAMED__

返回参数

名称

类型

描述

示例值

object

创建数据流水线响应

requestId

string

请求标识

473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E

pipeline

object

数据流水线

pipelineName

string

流水线名称

export-traces-to-prod

kind

string

流水线类型

枚举值:

  • default :

    默认流水线

  • custom :

    自定义流水线

  • export :

    导出流水线

export

description

string

流水线描述

Export selected trace services to the target workspace.

signalType

string

信号类型

traces

source

object

数据源

type

string

数据源类型

traces-default

config

object

数据源配置

runMode

string

运行模式

continuous

startFrom

string

读取起点

latest

timeRange

object

回填时间范围

from

integer

开始时间

1722844800

to

integer

结束时间

1722848400

processors

array<object>

公共处理器

array<object>

处理器

name

string

处理器名称

drop-health-check

type

string

处理器类型

filter

config

object

处理器配置

expression

string

过滤表达式

attributes["http.route"] != "/health"

fields

array

字段列表

string

字段路径

attributes.password

script

string

SPL 脚本

* | extend latency_ms = duration / 1000000

projections

array<object>

字段投影列表

object

流水线字段投影

source

string

源字段

serviceName

target

string

目标字段

service

assignments

array<object>

字段赋值列表

object

流水线字段赋值

field

string

输出字段

latency_ms

expression

string

赋值表达式

duration / 1000000.0

applications

array

应用列表

string

应用名称

checkout-service

rules

array<object>

脱敏规则列表

object

脱敏规则

mode

string

脱敏模式

keyword

types

array

内置敏感类型

string

敏感类型

EMAIL

keys

array

敏感关键词

string

关键词

password

maskChar

string

掩码字符

#

keepPrefix

integer

保留前缀长度

2

keepSuffix

integer

保留后缀长度

2

target

object

处理目标

workspace

string

目标工作空间

target-checkout-ws

selector

object

服务选择器

serviceNames

array

服务名称列表

["checkout-*","order-service"]

string

服务名称模式

checkout-*

scope

object

流水线处理器生效范围

metricName

object

指标名称范围

matchType

string

匹配方式

EXACT

values

array

指标名称

["http_requests_total"]

string

过滤值

[]

serviceName

object

服务名称范围

matchType

string

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

GLOB

values

array

匹配值

string

匹配值

['general']

conditions

array<object>

额外字段条件

array<object>

字段条件

field

object

字段引用

kind

string

引用类型

枚举值:

  • field :

    普通字段

  • json :

    JSON 对象键路径

  • label :

    指标标签

field

name

string

字段或维度名称

service.name

container

string

JSON 对象容器

attributes

path

array

JSON 字面键路径

string

JSON 对象键

service.name

matchType

string

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

匹配值

string

匹配值

['abc']

parameters

object

扩展参数

{"vendor":"example"}

any

参数

{}

outputs

array<object>

命名输出

array<object>

命名输出

name

string

输出名称

checkout_route

processors

array<object>

分支处理器

array<object>

处理器

name

string

处理器名称

drop-health-check

type

string

处理器类型

filter

config

object

处理器配置

expression

string

过滤表达式

attributes["http.route"] != "/health"

fields

array

字段列表

string

字段路径

attributes.password

script

string

SPL 脚本

* | extend latency_ms = duration / 1000000

projections

array<object>

字段投影列表

object

流水线字段投影

source

string

源字段

serviceName

target

string

目标字段

service

assignments

array<object>

字段赋值列表

object

流水线字段赋值

field

string

输出字段

latency_ms

expression

string

赋值表达式

duration / 1000000.0

applications

array

应用列表

string

应用名称

checkout-service

rules

array<object>

脱敏规则列表

object

脱敏规则

mode

string

脱敏模式

keyword

types

array

内置敏感类型

string

敏感类型

EMAIL

keys

array

敏感关键词

string

关键词

password

maskChar

string

掩码字符

#

keepPrefix

integer

保留前缀长度

2

keepSuffix

integer

保留后缀长度

2

target

object

处理目标

workspace

string

目标工作空间

target-checkout-ws

selector

object

服务选择器

serviceNames

array

服务名称列表

["checkout-*","order-service"]

string

服务名称模式

checkout-*

scope

object

流水线处理器生效范围

metricName

object

指标名称范围

matchType

string

匹配方式

EXACT

values

array

指标名称

["http_requests_total"]

string

值

['ECS']

serviceName

object

服务名称范围

matchType

string

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

匹配值

string

匹配值

['admit']

conditions

array<object>

额外字段条件

array<object>

字段条件

field

object

字段引用

kind

string

引用类型

枚举值:

  • field :

    普通字段

  • json :

    JSON 对象键路径

  • label :

    指标标签

field

name

string

字段或维度名称

serviceName

container

string

JSON 对象容器

attributes

path

array

JSON 字面键路径

string

JSON 对象键

service.name

matchType

string

匹配方式

枚举值:

  • GLOB :

    通配符匹配

  • EXACT :

    精确匹配

EXACT

values

array

匹配值

string

匹配值

['abc']

parameters

object

扩展参数

{"vendor":"example"}

any

参数

{}

sinks

array<object>

输出目标

object

输出目标

name

string

输出目标名称

error-archive

type

string

输出目标类型

logstore

project

string

SLS Project

customer-project

logstore

string

SLS Logstore

error-spans

datasets

array

Dataset 列表

string

Dataset 名称

__UNNAMED__

version

integer

配置版本

3

status

string

运行状态

枚举值:

  • Stopped :

    已停止

  • Running :

    运行中

  • Error :

    运行错误

  • Pending :

    处理中

Running

statusMessage

string

状态消息

Pipeline is running.

createTime

string

创建时间,采用 ISO 8601 格式的 UTC 时间,例如 2026-08-10T05:00:00Z。

2026-08-10T05:00:00Z

updateTime

string

更新时间,采用 ISO 8601 格式的 UTC 时间,例如 2026-08-10T05:10:00Z。

2026-08-10T05:10:00Z

示例

正常返回示例

JSON格式

{
  "requestId": "473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E",
  "pipeline": {
    "pipelineName": "export-traces-to-prod",
    "kind": "export",
    "description": "Export selected trace services to the target workspace.",
    "signalType": "traces",
    "source": {
      "type": "traces-default",
      "config": {
        "runMode": "continuous",
        "startFrom": "latest",
        "timeRange": {
          "from": 1722844800,
          "to": 1722848400
        }
      }
    },
    "processors": [
      {
        "name": "drop-health-check",
        "type": "filter",
        "config": {
          "expression": "attributes[\"http.route\"] != \"/health\"",
          "fields": [
            "attributes.password"
          ],
          "script": "* | extend latency_ms = duration / 1000000",
          "projections": [
            {
              "source": "serviceName",
              "target": "service"
            }
          ],
          "assignments": [
            {
              "field": "latency_ms",
              "expression": "duration / 1000000.0"
            }
          ],
          "applications": [
            "checkout-service"
          ],
          "rules": [
            {
              "mode": "keyword",
              "types": [
                "EMAIL"
              ],
              "keys": [
                "password"
              ],
              "maskChar": "#",
              "keepPrefix": 2,
              "keepSuffix": 2
            }
          ],
          "target": {
            "workspace": "target-checkout-ws"
          },
          "selector": {
            "serviceNames": [
              "checkout-*"
            ]
          },
          "scope": {
            "metricName": {
              "matchType": "EXACT",
              "values": [
                "[]"
              ]
            },
            "serviceName": {
              "matchType": "GLOB",
              "values": [
                "['general']"
              ]
            },
            "conditions": [
              {
                "field": {
                  "kind": "field",
                  "name": "service.name",
                  "container": "attributes",
                  "path": [
                    "service.name"
                  ]
                },
                "matchType": "EXACT",
                "values": [
                  "['abc']"
                ]
              }
            ]
          },
          "parameters": {
            "key": "{}"
          }
        }
      }
    ],
    "outputs": [
      {
        "name": "checkout_route",
        "processors": [
          {
            "name": "drop-health-check",
            "type": "filter",
            "config": {
              "expression": "attributes[\"http.route\"] != \"/health\"",
              "fields": [
                "attributes.password"
              ],
              "script": "* | extend latency_ms = duration / 1000000",
              "projections": [
                {
                  "source": "serviceName",
                  "target": "service"
                }
              ],
              "assignments": [
                {
                  "field": "latency_ms",
                  "expression": "duration / 1000000.0"
                }
              ],
              "applications": [
                "checkout-service"
              ],
              "rules": [
                {
                  "mode": "keyword",
                  "types": [
                    "EMAIL"
                  ],
                  "keys": [
                    "password"
                  ],
                  "maskChar": "#",
                  "keepPrefix": 2,
                  "keepSuffix": 2
                }
              ],
              "target": {
                "workspace": "target-checkout-ws"
              },
              "selector": {
                "serviceNames": [
                  "checkout-*"
                ]
              },
              "scope": {
                "metricName": {
                  "matchType": "EXACT",
                  "values": [
                    "['ECS']"
                  ]
                },
                "serviceName": {
                  "matchType": "EXACT",
                  "values": [
                    "['admit']"
                  ]
                },
                "conditions": [
                  {
                    "field": {
                      "kind": "field",
                      "name": "serviceName",
                      "container": "attributes",
                      "path": [
                        "service.name"
                      ]
                    },
                    "matchType": "EXACT",
                    "values": [
                      "['abc']"
                    ]
                  }
                ]
              },
              "parameters": {
                "key": "{}"
              }
            }
          }
        ]
      }
    ],
    "sinks": [
      {
        "name": "error-archive",
        "type": "logstore",
        "project": "customer-project",
        "logstore": "error-spans",
        "datasets": [
          "__UNNAMED__"
        ]
      }
    ],
    "version": 3,
    "status": "Running",
    "statusMessage": "Pipeline is running.",
    "createTime": "2026-08-10T05:00:00Z",
    "updateTime": "2026-08-10T05:10:00Z"
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情。