DeletePipeline-删除用户管道

删除用户管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...

Dataphin管道任务使用脚本输入组件提示空指针错误

问题描述 Dataphin管道任务使用脚本输入组件提示系统内部错误,查看日志为空指针错误。问题原因 配置文件JSON中直接删除了必填项导致。解决方案 当参数中没有相关设置参数的时候保留原始生成的为空即可。parameter":{} 适用于 Dataphin ...

管道

访问规则<图片URL>@|<action2>URL通过@符号后面的处理参数(action1,action2)来实现即时云处理,如果有多任务(比如先做缩略,再加上水印)可以用管道来实现,执行顺序按管道指定顺序执行,目前最多支持四级管道管道的分隔符是竖线(|)...

管道

x-oss-async-process HTTP/1.1 Host: <HOST HEADER> Date: <DATE HEADER> Authorization: <AUTH HEADER> x-oss-async-process=<action1>|使用限制 同步处理:同步处理能力中的图片处理支持使用管道,文档处理中的文档在线预览和文档在线编辑不支持...

使用Logstash管道配置调试功能

当Logstash管道配置出现错误时,可能导致输出数据结果不符合预期,需要反复去目标端确认数据格式,再返回控制台修改配置,这样会耗费大量的时间和人力。对于这种情况,您可以通过阿里云Logstash提供的管道配置调试功能,在管道配置完成后,...

管道

管道组件应用于工业水务、工业配电等场景,用户可用其绘制连续的折线或曲线管道。本文介绍管道组件的详细配置方法。步骤一:添加组件 创建Web应用。具体操作,请参见 创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧...

Dataphin管道任务字段计算中使用可以在字段计算中查询...

问题描述 Dataphin管道任务字段计算中使用可以在字段计算中查询到的函数,同步数据没有效果。解决方案 管道任务的新建字段不要与表中原始字段同名,并且做好源表与目标表的映射。适用于 Dataphin 测试环境v3.6

管道管理

管道ID,多个管道用','分隔$request->setPipelineIds("0ba6fb1ab75271a2e1293*");return$client->getAcsResponse($request);} 更新管道 通过 UpdatePipeline 更新管道信息,包括更新管道名称,状态。管道的状态包括Active、Paused。...

Dataphin中如何通过调用API的方式创建计算任务、管道...

概述 本文介绍如何通过代码调用API的方式创建计算任务、管道任务等功能。详细信息 日常答疑中有客户提出想通过代码调用方式创建计算任务、管道任务等需求,经过官方确认,可以通过调用Dataphin平台的OpenAPI完成。OpenAPI需要单独部署,...

Dataphin管道任务OSS输出组件Object前缀如何使用日期

问题描述 Dataphin管道任务中OSS输出组件的Object前缀如何使用日期达到每天变化的场景。解决方案 可以使用参数${bizdate},如下所示:适用于 Dataphin 管道任务

Dataphin管道任务下选择了SQL SERVER数据源但是找不到...

问题描述 Dataphin管道任务下选择了SQL SERVER数据源但是找不到用户下的表,但是数据库中实际是有表的。问题原因 数据源中配置的Schema错误。解决方案 老版本的SQL Server 内的对象命名是“服务器.数据库.用户名.对象”,但新版的对象命名...

Dataphin管道任务抽取rdbms类数据库数据,切分键使用...

解决方案 切分键作用:配合并发度使用,一般建议使用主键或有索引的列作为切分键。并发线程中切分键字段值一样,会判断为同一条数据。以上问题首先确认切分键是否主键或者切分键的值是否唯一;其次考虑切分键的数据类型是否为字符串,字符...

创建管道

如果需要根据优先级和提交顺序依次执行媒体处理任务,您可以创建管道,然后在...使用API UpdatePipeline-更新管道:名称、状态及通知设定 QueryPipelineList-查询管道 SearchPipeline-搜索管道 AddPipeline-添加管道 DeletePipeline-删除管道

管道概述

智能封面任务在控制台提交时需要使用智能封面管道,通过SubmitIProductionJob接口提交时,可以传入智能封面管道ID,或不传入管道ID使用默认智能生产管道。10 智能生产管道 适用于智能生产作业(如:视频摘要、字幕提取等所有生产作业)系统...

Dataphin离线管道抽取HANA的数据,源系统字段是...

概述 本文主要描述了Dataphin离线管道抽取HANA的数据,源系统字段是varbinary,Dataphin上使用String类型显示乱码的解决方法。详细信息 用户要使用这个字段,那这个字段就需要加工,二进制数据转换成字符串一定是乱码,所以是需要转换成其他...

Dataphin管道集成任务输入组件为OSS数据源报“object ...

问题描述 管道集成任务,输入组件为OSS数据源,报“Object 无效,Object名称在使用UTF-8编码后长度必须在1-1023之间”错。问题原因“object前缀”输入项中输入的数据文件名称中有中文存在。解决方案 在“object前缀”传入全部为英文的数据...

Dataphin管道任务速度为0

问题描述 用户使用管道任务同步数据,同步速度为Speed 0B/s,0 records/s。问题原因 这种速度为Speed 0B/s,0 records/s,就是典型得读不出来,写不进去,需要检查WaitReaderTime和WaitWriterTime大小。解决方案 如果WaitReaderTime比较大,...

管道管理

管道是任务的队列。当您提交异步任务后,任务会进入管道中进行排队,根据优先级和提交顺序依次被调度执行。本文提供了Java SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。...} } 相关文档 管道 管道接口

管道管理

如果您在添加管道时遇到"The resource"Pipeline"quota has been used up"错误,代表您的管道配额已完,可以通过 提交工单 申请管道数量的配额。关于管道消息NotifyConfig配置,请参见 NotifyConfig详情。管道支持队列或主题模式的消息...

Dataphin管道任务很长时间显示速度为0

问题描述 Dataphin管道任务很长时间日志都显示速度为0。如下图:问题原因 网络资源或者计算资源...停止后台占用资源较大的任务,或者使用管道任务-流程模块-限速组件来限制部分占用资源较高的任务,在重新运行任务。适用于 Dataphin 管道任务

管道管理

管道是任务的队列。当您提交异步任务后,任务会进入管道中进行排队,根据优先级和提交顺序依次被调度执行。本文提供了Python SDK管道相关功能的API调用示例,包含...输出打印 print(str(response,encoding='utf-8'))相关文档 管道 管道接口

管道管理

管道是任务的队列。当您提交异步任务后,任务会进入管道中进行排队,根据优先级和提交顺序依次被调度执行。...前提条件 使用前请先安装及完成PHP SDK相关配置,详细信息,请参见 前言。更多SDK及API调用示例,请参见 ...相关文档 管道 管道接口

一字管道

该组件可作为连接组件静态展示,也可关联数据展示和控制管道内的流动效果和方向。下文介绍组件的详细配置方法。步骤一:添加组件 创建Web应用。具体操作,请参见 创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧组件...

管道管理

管道是任务的队列。当您提交异步任务后,任务会进入管道中进行排队,根据优先级和提交顺序依次被调度执行。本文提供了Node.js SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。...相关文档 管道 管道接口

十字管道

该组件仅可作为展示图标使用。下文介绍组件的详细配置方法。步骤一:添加组件 创建Web应用。具体操作,请参见 创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧组件列表上方,输入 十字管道,找到该组件,然后将组件拖拽...

Dataphin管道任务从SqlServer抽取数据时,空字符串的...

问题描述 当您使用管道从SqlServer抽取数据时,有个字段数据存在有空字符串,想字段计算给它换掉,希望将空串替换为0。问题原因 因为管道任务不支持该操作,需要在SqlServer源端进行处理。解决方案 在SqlServer参考处理方法如下:采用case...

Dataphin管道任务同步数据报错“java.lang....

问题描述 用户使用管道任务同步数据时报错“java.lang.OutOfMemoryError:Compressed class space”。问题原因 管道任务运行过程中压缩类空间溢出,默认大小1GB。解决方案 创建一个shell任务,内容如下:@required_resource{required_memory...

Dataphin管道任务报错“org.postgresql.util....

问题描述 用户在使用管道任务同步数据时,任务报错“org.postgresql.util.PSQLException:FATAL:terminating connection due to conflict with recovery”。问题原因 报错是备库事务或者单SQL查询时间长,和备库的日志apply发生冲突,如果...

Dataphin管道任务报错“java.sql.SQLException:...

问题描述 用户使用管道任务同步数据到MySQL,任务报错“java.sql.SQLException:Incorrect string value:'\xF4\x80\x80\x8E\xF4\x80.' for column 'XXX' at row 1”。问题原因 报错字段有特殊符号,UTF-8编码的字段最大只能存储3个字节的...

Dataphin管道任务将专有云环境OSS数据同步到...

http://*.*.*.*.com.cn:80/api","partition":"ds='20211103'","project":"GH_ODS_DEV","table":"user_info_test","truncate":true },"stepType":"odps"}]} EOF python$DLINK_HOME/bin/dlink.py dlink.json 解决方案二:用管道任务中的脚本...

通过配置文件管理管道

通过Logstash将RDS MySQL数据同步至Elasticsearch 通过Logstash同步日志数据的文档:logstash-input-sls插件使用说明 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 常见问题 管道创建后,进程卡住了,实例变更进度不变,...

上传管道脚本

Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本,详情请参见 下载管道脚本。背景信息 上传管道脚本,详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...

配置离线管道运行参数

本地变量 无须事先声明和定义,直接在离线管道使用${variable_name},即可定义一个名字为 variable_name 的本地变量。变量名建议只使用数字、字母和下划线。且 不要使用glb开头,此为全局变量保留设置,长度不超过32位字符。重要 如果 ...

L字管道

该组件仅可作为展示图标使用。下文介绍组件的详细配置方法。步骤一:添加组件 创建Web应用。具体操作,请参见 创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧组件列表上方,输入 L字管道,找到该组件,然后将组件拖拽...

T字管道

该组件仅可作为展示图标使用。下文介绍组件的详细配置方法。步骤一:添加组件 创建Web应用。具体操作,请参见 创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧组件列表上方,输入 T字管道,找到该组件,然后将组件拖拽...

管道传输(Pipeline)

当您有批量操作、提高命令执行性能等需求时,您可以使用Redis管道传输(Pipeline,后面称为Pipeline)机制。Pipeline可以将多个命令同时发给Redis服务端,减少网络延迟,并提高性能。云数据库Redis版 及 云原生内存数据库Tair 支持原生...

SearchPipeline-搜索管道

通过管道状态搜索管道。接口说明 本接口通过管道状态搜索管道,如果不指定管道状态则默认搜索全部管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制,API 调用会被限流,这可能会影响您的业务,请合理调用。更多信息,请参见 ...

QueryPipelineList-查询管道

通过管道ID查询管道。接口说明 本接口一次最多可查询 10 个管道。当返回值为"Code":"InvalidIdentity.ServiceDisabled","Message":"The request identity was not allowed operated.","Recommend"时,请检查您是否拥有 MPS 权限(是否授权 ...

CreatePipeline-创建管道

创建管道。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string 是 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
共享流量包 数字证书管理服务(原SSL证书) 短信服务 轻量应用服务器 对象存储 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用