一站式分析体验

AnalyticDB MySQL 湖仓版(3.0)统一了元数据管理、数据访问、数据管道计费单位,为您提供一站式分析体验。湖仓版(3.0)数据通过统一的元数据服务进行管理,避免了元数据同步带来的低效、不一致等问题,让湖和仓的联动更加敏捷。而且...

Dataphin管道任务运行报错“org.postgresql.util....

问题描述 Dataphin管道任务将PostgreSQL数据库数据集成同步到MaxCompute数据库,任务运行报错“org.postgresql.util.PSQLException:ERROR:canceling statement due to user request”。完整的异常信息如下:2022-10-30 00:57:03.062[job-...

计费概述

云消息队列 RocketMQ 版 提供包年包月、按量付费和Serverless计费方式,每种计费方式的计费项和计费规则都有所差异,您可以按照不同的使用场景和业务规模选择合适计费方式,达到成本最优化的效果。产品系列 云消息队列 RocketMQ 版 提供...

计费概述

计费项 云消息队列 MQTT 版 的计费项目如下:计费项说明如下:基础版/铂金版实例计费 专业版实例计费 Serverless版实例计费 计价倍率 在使用MQTT协议传输消息时,QoS 和 cleanSession 参数的设置会影响实际的计费。每条消息(包含客户端和...

计费说明

说明 按量付费费用结算一般在凌晨进行,若您需要修改功能变更(例如添加域名、开启新的功能防护等),建议您在每日6:00之后进行,否则该变更可能会计入前一天的账单。如果您账户的可用额度(含阿里云账户余额和代金券)小于待结算的账单,...

计费说明

关于按量付费各版本的具体计费规则,请参见:按量付费3.0计费说明 按量付费2.0计费说明 按量付费(旧版)计费说明 计费项 计算公式 总费用=已开通的功能项费用+流量费用。已开通的功能项费用 已开通的功能项费用包含已启用的防护能力费用和...

创建管道

如果需要根据优先级和提交顺序依次执行媒体处理任务,您可以创建管道,然后在创建媒体处理任务时指定优先级(部分任务类型支持)和对应的管道。使用限制 不同类型管道的创建数量、适用功能、并发能力不同,如果提交不适用的任务会执行失败...

管道概述

管道是任务的队列。当您提交异步任务后,任务会进入管道中进行排队,根据优先级和提交顺序依次被调度执行。本文介绍MPS中管道的基本概念及使用限制。基本概念 管道有启用、禁用两种状态,管道被暂停时,媒体处理服务不再调度此管道中的作业...

管道管理

本文提供了Java SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端,详细操作请参见 初始化。创建管道 调用AddPipeline接口,完成创建管道功能。说明 管道类型选择说明,请参见...

管道管理

本文提供了Java SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端,详细说明请参见 初始化。创建管道 调用AddPipeline接口,完成创建管道功能。说明 管道类型选择说明,请参见...

SearchPipeline-搜索管道

通过管道状态搜索管道。接口说明 本接口通过管道状态搜索管道,如果不指定管道状态则默认搜索全部管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制,API 调用会被限流,这可能会影响您的业务,请合理调用。更多信息,请参见 ...

通过配置文件管理管道

Logstash通过管道完成数据的采集与处理,管道配置中包含input、output和filter(可选)插件,input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行,目前最多支持20个。本文介绍...

上传管道脚本

Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本,详情请参见 下载管道脚本。背景信息 上传管道脚本,详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...

QueryPipelineList-查询管道

通过管道ID查询管道。接口说明 本接口一次最多可查询 10 个管道。当返回值为"Code":"InvalidIdentity.ServiceDisabled","Message":"The request identity was not allowed operated.","Recommend"时,请检查您是否拥有 MPS 权限(是否授权 ...

UpdatePipeline-更新管道:名称、状态及通知设定

如果任务提交后关闭管道,已经进入处理排队的任务将无法取消,会正常执行并收取相应的费用。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制,API 调用会被限流,这可能会影响您的业务,请合理调用。更多信息,请参见 QPS 限制。...

通过单条管道创建集成任务

离线单条管道即处理离线集成任务的一条管道脚本,可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前,配置好您...

离线集成概述

离线集成支持多种组件,包括输入、输出与转换组件等,通过在画布上简单的拖拽、配置并组装的方式,生成离线集成单条管道。离线集成也支持脚本模式,支持更多个性化配置。同时,用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...

管道

管道组件应用于工业水务、工业配电等场景,用户可用其绘制连续的折线或曲线管道。本文介绍管道组件的详细配置方法。步骤一:添加组件 创建Web应用。具体操作,请参见 创建Web应用。在Web应用编辑器中,单击最左侧的组件图标。在画布左侧...

ALIYUN:MPS:Pipeline

ALIYUN:MPS:Pipeline类型用于创建媒体处理的管道。语法 {"Type":"ALIYUN:MPS:Pipeline","Properties":{"Role":String,"Speed":String,"SpeedLevel":Integer,"State":String,"NotifyConfig":Map,"Name":String } } 属性 属性名称 类型 必须 ...

CreatePipeline-创建管道

创建管道。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string 是 ...

数据集成概述

适用场景说明 场景 描述 操作指导 通过管道脚本构建同步任务 基于已有的管道脚本开发管道任务,实现数据同步。下载已开发的管道脚本,详情请参见 通过单条管道创建集成任务。上传创建管道开发脚本,详情请参见 通过单条管道创建集成任务。...

AddPipeline-添加管道

新增一个管道。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string...

管道管理

本文提供了Python SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。搜索管道 可以直接通过 SearchPipeline 接口搜索管道信息。import os from aliyunsdkcore.client import AcsClient from aliyunsdkcore.acs_...

使用Logstash管道配置调试功能

当Logstash管道配置出现错误时,可能导致输出数据结果不符合预期,需要反复去目标端确认数据格式,再返回控制台修改配置,这样会耗费大量的时间和人力。对于这种情况,您可以通过阿里云Logstash提供的管道配置调试功能,在管道配置完成后,...

管道管理

管道是任务的队列。当您提交异步任务后,任务会进入管道中进行排队,根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。创建管道 可以通过AddPipeline接口...

智能审核

如果管道列表中没有智能审核管道,请先开启智能审核管道。上传视频。如果直接提交任务:将需要处理的视频上传至OSS。具体操作,请参见 上传视频。如果使用工作流自动提交:请先添加媒体Bucket,完成工作流创建后再上传视频。将OSS的Bucket...

数据集成权限列表

管道任务目录权限列表 权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看管道任务目录 Y Y Y Y Y N 新建管道任务目录 Y Y Y N N N 编辑管道任务目录 Y Y Y N N N 确定管道任务目录 Y Y Y N N N 删除管道任务目录 Y...

ListPipelines-获取管道列表

PipelineId string 管道 ID*20b48fb04483915d4f2cd8ac*Name string 管道名称 test-pipeline Speed string 管道类型 Standard Priority integer 管道优先级 6 Status string 管道状态 枚举值:Active:正常。Paused:停用。Active ...

GetPipeline-获取管道详细信息

获取用户管道详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...

查询日志

当您需要查看集群中各节点的运行状况及管道的运行情况,例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息时,可查看主日志进行排查。注意 如果您的业务侧出现问题,建议优先查看主日志和 集群监控,排除集群自身的...

智能生产

如果管道列表中没有智能封面管道,请先开启智能封面管道。上传视频。如果直接提交任务:将需要处理的视频上传至OSS。具体操作,请参见 上传视频。如果使用工作流自动提交:请先添加媒体Bucket,完成工作流创建后再上传视频。将OSS的Bucket...

步骤三:引入数据

步骤二:开发离线管道脚本 在离线单条管道开发页面,选中 MySQL输入组件 和 MaxCompute输出组件 并拖动至管道画布中,同时进行连接。如下图所示:单击组件的 图标,配置 MySQL输入组件 和 MaxCompute输出组件。MySQL输入组件 参数 描述 ...

使用限制

功能限制 资源类型 使用限制 限制场景 管道数量 每个用户在每个服务地域默认有一个已开启的标准管道和一个已开启的智能生产管道。创建或开启其他类型管道请参见 开启管道管道类型和具体限制说明请参见 管道概述。在控制台创建管道管道...

离线集成管道通道配置

通过离线集成管道通道,您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口,进入数据集成页面。在数据集成页面,按照下图操作...

查看历史信息

本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建,详情请参见 通过离线单条管道配置集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面,选择工作区地域 后,单击 ...

DescribePipeline

调用DescribePipeline,获取Logstash实例的管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头,无特殊请求头。请参见...

视频DNA

如果管道列表中没有视频DNA管道,请先开启视频DNA管道。按需调用 提交新建DNA库 接口,创建DNA库。上传视频。如果直接提交任务:将需要处理的视频上传至OSS。具体操作,请参见 上传视频。如果使用工作流自动提交:请先添加媒体Bucket,完成...

新手指引

步骤三、开启管道 各类任务所使用的管道类型不同,详细管道类型及开启说明请参见 开启管道。登录 媒体处理控制台。在顶部导航栏左侧选择与您的OSS Bucket一致的 地域。在左侧导航栏,选择 全局设置>管道及回调。找到所需管道类型,单击 ...

管道管理

本文提供了Node.js SDK管道相关功能的API调用示例,包含添加管道、更新管道、删除管道、查询管道。添加管道 可以通过 添加管道 接口新增一个管道。import Console from '@alicloud/tea-console';import OpenApi,*as$OpenApi from '@...

DBMS_PIPE

DBMS_PIPE子程序总览 子程序 说明 CREATE_PIPE Function 创建一个命名管道。NEXT_ITER_TYPE Function 返回缓冲区中下一个数据成员的数据类型。PACK_MESSAGE Procedures 将一个数据项放入会话的本地消息缓冲区中。UNPACK_MESSAGE Procedures...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储 金融分布式架构
新人特惠 爆款特惠 最新活动 免费试用