管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对文件的不同处理。访问规则 URL通过处理参数 action1、action2 实现数据处理。如果有多任务，执行顺序按管道指定顺序执行，管道的分隔符是竖线（|...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对图像的不同处理。访问规则<图片URL>@|<action2>URL通过@符号后面的处理参数（action1,action2）来实现即时云处理，如果有多任务（比如先做缩略，...
管道
管道组件应用于工业水务、工业配电等场景，用户可用其绘制连续的折线或曲线管道。本文介绍管道组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧...
管道概述
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文介绍MPS中管道的基本概念及使用限制。基本概念 管道有启用、禁用两种状态，管道被暂停时，媒体处理服务不再调度此管道中的作业...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了Python SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。搜索管道 可以直接通过 ...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。创建管道 可以通过AddPipeline接口...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了Node.js SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。添加管道 可以通过 添加管道 ...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先安装及完成...
CreatePipeline-创建管道
请求参数 名称 类型 必填 描述 示例值 Name string 是 管道名称。test-pipeline Speed string 是 管道类型。取值：Standard：标准管道 Boost：倍速转码管道 NarrowBandHDV2：窄带高清 2.0 管道 Standard Priority integer 否 优先级，1-10...
AddPipeline-添加管道
请求参数 名称 类型 必填 描述 示例值 Name string 是 管道名称，最大长度 128 字节。test-pipeline Speed string 否 管道类型。取值：Boost：倍速转码 Standard：普通管道 NarrowBandHDV2：窄带高清 2.0 AIVideoCover：智能截图 ...
UpdatePipeline-更新管道信息
请求参数 名称 类型 必填 描述 示例值 PipelineId string 是 管道 ID*d80e4e4044975745c14b*Name string 否 管道名称 test-pipeline Status string 否 管道状态。枚举值：Active：正常。Paused：停用。Paused Priority integer 否 优先级。...
DeletePipeline-删除用户管道
请求参数 名称 类型 必填 描述 示例值 PipelineId string 是 管道 ID*96e8864746a0b6f3*返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求 ID*11-DB8D-4A9A-875B-275798*Success boolean 是否成功 true ...
GetPipeline-获取管道详细信息
请求参数 名称 类型 必填 描述 示例值 PipelineId string 是 管道 ID*96e8864746a0b6f3*返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求 ID*11-DB8D-4A9A-875B-275798*Pipeline object 管道信息 ...
创建管道
如果需要根据优先级和提交顺序依次执行媒体处理任务，您可以创建管道，然后在创建媒体处理任务时指定优先级（部分任务类型支持）和对应的管道。使用限制 不同类型管道的创建数量、适用功能、并发能力不同，如果提交不适用的任务会执行失败...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
一字管道
该组件可作为连接组件静态展示，也可关联数据展示和控制管道内的流动效果和方向。下文介绍组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧组件...
十字管道
在画布左侧组件列表上方，输入 十字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置...系统报错elasticsearch.errorcode.UnsafeKeyword.message，是什么原因？Logstash数据写入问题排查方案 Logstash性能排查
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
QueryPipelineList-查询管道
通过管道ID查询管道。接口说明 本接口一次最多可查询 10 个管道。当返回值为"Code":"InvalidIdentity.ServiceDisabled","Message":"The request identity was not allowed operated.","Recommend"时，请检查您是否拥有 MPS 权限（是否授权 ...
DeletePipeline-删除管道
删除管道。接口说明 本接口一次只能删除一个管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 QPS 限制。调试 您可以在OpenAPI Explorer中直接运行...
T字管道
在画布左侧组件列表上方，输入 T字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作 ...
L字管道
在画布左侧组件列表上方，输入 L字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作 ...
Dataphin离线管道任务执行失败了，但目标表却被清空了
问题描述 Dataphin离线管道任务执行失败了，但目标表却被清空了是什么原因？解决方案 输出组件有准备语句（preSql）和完成语句（postSql），管道任务的执行逻辑是会先执行准备语句，然后再执行同步数据任务进行数据传输，然后执行完成语句...
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
配置离线管道运行参数
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择您需...
Dataphin集成管道任务报错：java.sql.SQLException:No...
问题描述 Dataphin集成管道任务报错：“java.sql.SQLException:No database selected”是什么原因？问题原因 任务节点的jdbcurl配置错误，url中存在空格字符，导致数据库信息未能正确识别到。解决方案 检查并更正对应节点的JDBC URL，修改...
Dataphin的管道任务提交时报错“ERROR：duplicate key...
问题描述 Dataphin的管道任务提交时报错“ERROR：duplicate key value violates unique constraint”是什么原因？问题原因 依赖关系配置中节点的输出名称重复了，导致了主键冲突报错。解决方案 检查运维中是否有已存在的重名节点名称，然后...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
Dataphin管道任务中输入、输出组件字段类型是decimal...
概述 本文介绍Dataphin管道任务中输入、输出组件字段类型是decimal，映射列表展示为double的原因。详细信息 如下MySQL数据源中...这个原因是：管道输入输出组件抽象出来显示的pipeline类型，而不是实际输入到数据库中的类型。适用于 Dataphin
SearchPipeline-搜索管道
通过管道状态搜索管道。接口说明 本接口通过管道状态搜索管道，如果不指定管道状态则默认搜索全部管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 ...
Dataphin管道任务运行报错“org.postgresql.util....
问题描述 Dataphin管道任务将PostgreSQL数据库数据集成同步到MaxCompute数据库，任务运行报错“org.postgresql.util.PSQLException:ERROR:canceling statement due to user request”。完整的异常信息如下：2022-10-30 00:57:03.062[job-...
Dataphin管道任务写入ClickHouse表，发现写入分区的...
详细信息 Dataphin管道任务写入ClickHouse表，发现写入分区的数据量少于ClickHouse表分区总量，是什么原因？分析如下：出现这种写入量少于分区count()数量的情况，首先需要排查是否有其他任务在往表的当前分区写入数据。如果排查了其他的...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题描述 Dataphin离线管道中Hive输出组件配置后报错“获取元数据失败MySQLNonTransientConnectionException Too many connections"是什么原因？Hive数据源测试连接时也连接失败，提示报错信息“Too many connections”。问题原因 Hive...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量...详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库不一致。适用于 Dataphin
Dataphin输出数据源为MySQL，为什么管道任务日志中...
详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 count(1)条数是什么原因？原因如下：输出数据源为MySQL，上游数据源中数据和下游存在主键一致的情况。若...
- 产品推荐
- 这些文档可能帮助您