Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量...详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库不一致。适用于 Dataphin
Logstash FAQ
通过logstash同步数据时报错"[routing]is missing for join field[joinField]"，是什么原因？管道创建后，进程卡住了，实例变更进度不变，如何处理？Logstash私网地址是否能ping通？Logstash在两个Elasticsearch之间同步数据，如何保证...
基本概念
为了便于您更好的理解和使用媒体处理产品，您可以在使用前了解媒体处理中管道、工作流、转码模板、转封装等基本概念。媒体处理产品级别概念 作业/任务（Job）作业/任务（Job）是MPS中的一个抽象概念。常见类型：提交媒体信息作业、提交转码...
HLS数据加密
使用须知*本demo 为未开启标准加密改写时的kms方式解密服务代码示例,不包含MtsHlsUriToken的校验逻辑*什么是标准加密改写 以及 MtsHlsUriToken如何生成*demo中端口号为8888,请注意与KeyUri解密服务端口保持一致*逻辑概述*1、接收解密请求，...
功能发布记录
什么是媒体处理 2018-01-18 新功能：转码输出格式支持Webp。功能特性 2018-01-10 新区域：媒体处理上线国际站，并新增欧洲中部1（法兰克福）、亚太东北1（东京）地域。服务地域 2017-12 发布日期 发布内容 相关文档 2017-12-29 预付费：...
SLS触发器
数据投递场景 为数据的目的端落地提供支撑，构建云上大数据产品间的数据管道。数据加工函数 函数类型 模板函数 更多信息，请参见 aliyun-log-fc-functions。自定义函数 函数配置的格式与函数的具体实现有关。更多信息，请参见 ETL函数开发...
SLS触发器
数据投递场景 为数据的目的端落地提供支撑，构建云上大数据产品间的数据管道。数据加工函数 函数类型 模板函数 更多信息，请参见 aliyun-log-fc-functions。自定义函数 函数配置的格式与函数的具体实现有关。更多信息，请参见 ETL函数开发...
将自建ClickHouse数据迁移到云ClickHouse中
clickhouse-client-host="<new host>"-port="<new port>"-user="<new user name>"-password="<new password>"-query="insert into<database_name>.<table_name>FORMAT CSV"通过Linux pipe管道进行流式导出导入 clickhouse-client-host=...
部分克隆（Partial clone）介绍
部分克隆功能简介 什么是部分克隆?众所周知，Git是一个分布式的版本控制系统，当在默认情况（例如不带任何参数情况下使用git clone命令）下克隆仓库时，Git会自动下载仓库所有文件的所有历史版本。如此设计一方面带来了分布式的代码协同...
文档更新动态（2022年之前）
系统支持记住最近一次访问的列表（管道脚本、规范建模和数据处理）。通用功能 管理发布任务 2020-09-17 业务板块 功能拓展 系统支持最多设置10位业务板块管理员。通用功能 创建数据板块 2020年07月 时间 特性名称 类别 描述 使用范围 产品...
阿里云Elasticsearch实例FAQ
ES在使用过程中，什么情况下可以使用强制重启功能，使用该功能后会有什么影响？如何确认ES的Log4j2漏洞已修复？如何实现跨地域ES实例内网互通？如何在Elasticsearch集群间迁移数据？开启HTTPS协议是否需要购买协调节点？ES单节点最大支持...
通过Elasticsearch机器学习实现业务数据的智能检测和...
该模式不需要训练机器学习什么是异常，机器学习算法将自动检测数据中的异常或异常模式。监督机器学习包括Regression和Classification等场景，使用分类和回归算法解决非常复杂的问题。该模式需要一定的数据训练预测任务，然后使用训练出来的...
常见问题（FAQ）
说明 详情请参考Databricks官网文章：常见问题 什么是 Delta Lake?Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且...
工作流常见问题
媒体工作流执行时，转码管道上绑定的队列或通知机制是否同时生效？目前媒体工作流触发执行的作业，忽略转码管道上绑定的消息机制。为什么转码输出文件的CDN地址在控制台上无法播放预览？这种情况一般为您的CDN域名没有做解析到相应CNAME的...
媒体处理常见问题
开启管道或添加管道，请参见 创建管道。媒体处理服务中AliyunAudioCodec中Profile字段的说明。媒体处理中的音频编解码配置类型中支持以下五种Profile：aac_low aac_he aac_he_v2 aac_ld aac_eld 格式支持 媒体处理支持的输入格式 容器格式 ...
Dataphin离线管道任务执行失败了，但目标表却被清空了
问题描述 Dataphin离线管道任务执行失败了，但目标表却被清空了是什么原因？解决方案 输出组件有准备语句（preSql）和完成语句（postSql），管道任务的执行逻辑是会先执行准备语句，然后再执行同步数据任务进行数据传输，然后执行完成语句...
Dataphin的管道集成任务时报错：“ERROR ...
问题描述 在Dataphin的 从SQL Server往MaxCompute管道集成任务，设置的两边表结构完全相同，也没有什么筛选条件，但是报错：ERROR CommonRdbmsReader$Task-error occurred when reading.com.microsoft.sqlserver.jdbc.SQLServerException: ...
Dataphin提交管道任务为什么会提示对数据源没有写权限...
详细信息 在提交管道任务时，提示“对数据源没有写权限”，为什么会有这样的提示？原因如下：当创建Dev项目、Prod项目或Basic项目时，系统会自动生成一个生产账号与其项目一一对应。生产账号用于操作生产环境中的离线手动任务、离线周期...
Dataphin的管道任务提交时报错“ERROR：duplicate key...
问题描述 Dataphin的管道任务提交时报错“ERROR：duplicate key value violates unique constraint”是什么原因？问题原因 依赖关系配置中节点的输出名称重复了，导致了主键冲突报错。解决方案 检查运维中是否有已存在的重名节点名称，然后...
Dataphin集成管道任务报错：java.sql.SQLException:No...
问题描述 Dataphin集成管道任务报错：“java.sql.SQLException:No database selected”是什么原因？问题原因 任务节点的jdbcurl配置错误，url中存在空格字符，导致数据库信息未能正确识别到。解决方案 检查并更正对应节点的JDBC URL，修改...
将云消息队列 Kafka 版接入阿里云Elasticsearch
PUT/elastic_test {} 步骤六：创建管道 通过阿里云Logstash创建管道。管道部署后，将源源不断地从 云消息队列 Kafka 版 导入数据进阿里云Elasticsearch。登录 阿里云Elasticsearch控制台的Logstash页面。在顶部菜单栏，选择地域。在 实例...
Dataphin集成任务从ClickHouse读取数据写入MaxCompute...
详细信息 配置从ClickHouse读取数据写入MaxCompute的管道任务并正常调度，却发现日期字段数据没有同步过来，是什么原因呢？分析如下：Dataphin的MaxCompute输出组件时间类型支持datetime，timestamp，如果写入的MaxCompute表使用了集成不...
创建管道
如果需要根据优先级和提交顺序依次执行媒体处理任务，您可以创建管道，然后在创建媒体处理任务时指定优先级（部分任务类型支持）和对应的管道。使用限制 不同类型管道的创建数量、适用功能、并发能力不同，如果提交不适用的任务会执行失败...
管道概述
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文介绍MPS中管道的基本概念及使用限制。基本概念 管道有启用、禁用两种状态，管道被暂停时，媒体处理服务不再调度此管道中的作业...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细操作请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
SearchPipeline-搜索管道
通过管道状态搜索管道。接口说明 本接口通过管道状态搜索管道，如果不指定管道状态则默认搜索全部管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 ...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
Dataphin输出数据源为MySQL，为什么管道任务日志中...
详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 count(1)条数是什么原因？原因如下：输出数据源为MySQL，上游数据源中数据和下游存在主键一致的情况。若...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
QueryPipelineList-查询管道
通过管道ID查询管道。接口说明 本接口一次最多可查询 10 个管道。当返回值为"Code":"InvalidIdentity.ServiceDisabled","Message":"The request identity was not allowed operated.","Recommend"时，请检查您是否拥有 MPS 权限（是否授权 ...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
Dataphin管道任务写入ClickHouse表，发现写入分区的...
详细信息 Dataphin管道任务写入ClickHouse表，发现写入分区的数据量少于ClickHouse表分区总量，是什么原因？分析如下：出现这种写入量少于分区count()数量的情况，首先需要排查是否有其他任务在往表的当前分区写入数据。如果排查了其他的...
UpdatePipeline-更新管道：名称、状态及通知设定
更新管道。接口说明 本接口可以修改指定管道的名称、状态及通知设定。暂停管道后，如果工作流或其他单任务（如视频审核、视频 DNA 等）中选择使用状态为已暂停的管道，会导致任务失败无法进行。注意 暂停管道后，不会影响已经提交的任务。...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
管道
管道组件应用于工业水务、工业配电等场景，用户可用其绘制连续的折线或曲线管道。本文介绍管道组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧...
ALIYUN:MPS:Pipeline
ALIYUN:MPS:Pipeline类型用于创建媒体处理的管道。语法 {"Type":"ALIYUN:MPS:Pipeline","Properties":{"Role":String,"Speed":String,"SpeedLevel":Integer,"State":String,"NotifyConfig":Map,"Name":String } } 属性 属性名称 类型 必须 ...
- 产品推荐
- 这些文档可能帮助您