GetDISyncTask
获取数据集成实时同步任务和同步解决方案的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
MySQL整库离线同步到OSS
以下表格列举了本同步解决方案所支持的高级参数。高级参数名称 说明 离线任务源端最大连接数 离线任务源端最大连接数。数据源维度，同一数据源，同时运行的离线任务并发度不允许超过此值 离线同步任务并发度 并发数是指数据同步任务中，...
OTSStreamReader常见问题
解决方案 同步脚本中配置的startTime必须大于 任务启动时间-日志过期时长+10分钟。请登录 表格存储控制台 后，在目标数据表的 表管理 页面中 基本详情 页签，查看日志过期时长。OTSStreamReader运行时出现“To avoid timing error between ...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
QueryDISyncTaskConfigProcessResult
调用...DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用 GenerateDISyncTaskConfigForCreating、...
业务数据推送
截止到2021.2.5，支持以下数据推送 人脸状态变更 设备同步错误 设备上报数据 模型ID：BizDataPushModel 模型版本：1.1 属性名称 属性标识符 类型 长度 非空 数据描述 记录标示 eventId String 256 是 记录标示 事件时间 eventTime Date 是 ...
常见报错
解决方法：请重试。若异常无法解决，请 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。DTS.Msg.DbListIsEmpty 报错场景：使用API配置任务时。可能原因：传入的DbList字段为...
支持的数据源及同步方案
具体任务配置与实现您可进入 离线同步、实时同步、同步解决方案 模块进行操作。数据源 离线同步 实时同步 全增量同步任务 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/...
出错提示S9磁盘分区头数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S9_*磁盘分区头数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S9_*磁盘分区头数据同步出错”。其中S9_*可能的错误码如下：S9_F4 S9_F40 问题...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
400错误
解决方案：请参考下表参数说明完成Authorization头部计算。参数 类型 是否必选 示例值 说明 AccessKeyId 字符串 是 LTAI4FixJvEPgvZ6g5cC*密钥中的AccessKey ID。AccessKeySecret 字符串 是 Q0YehC6ZyugWfjod5y8Rcqrc1y*密钥中的AccessKey ...
出错提示S3磁盘分区数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S3磁盘分区数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S3_*磁盘分区数据同步出错”。其中S3_*可能的错误码如下：S3_F30 S3_F32 S3_F6 S3_...
容灾大屏
异地双活容灾 异地应用双活容灾 服务同步错误数 注册中心同步服务的同步错误次数/分钟。消息层 消费者调用总QPM 消费者用户请求的次数/分钟，即QPM=（并发数/平均响应时间）×60。同城多活容灾 异地双活容灾 异地应用双活容灾 提供者调用总...
应用节点
服务同步错误数/分钟 注册中心同步服务的同步错误次数/分钟。服务同步平均RT（ms）/分钟 注册中心同步服务的同步任务的平均响应时间/分钟。消息层 消息Pub用户调用次数 提供者用户请求的次数/分钟，即（并发数/平均响应时间）×60。消息Pub...
出错提示S2磁盘分区文件数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S2_*磁盘分区文件数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S2_*磁盘分区文件数据同步出错”。其中S2_*可能的错误码如下：S2_R255 S2_R...
GetDIJob
结构同步错误信息 FullMigrationTotalTables：全量同步表总数 FullMigrationSuccessTables：全量同步表成功数 FullMigrationFailedTables：全量同步表失败数 FullMigrationStatus：全量同步状态 FullMigrationErrorMessage：全量同步错误...
使用MaxCompute独享Tunnel进行数据同步
为满足业务增长对传输资源的更高要求，数据集成的同步任务默认使用独享资源组，可为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何使用MaxCompute独享数据传输资源进行数据同步。注意事项 若在配置MaxCompute数据源时配置了 ...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
短信发送状态回执错误码
解决方案：如果使用SDK调用接口，请注意AccessKey ID和AccessKey Secret字符串赋值正确。如果自行加密签名（Signature），请参见 请求签名 检查加密逻辑。InvalidTimeStamp.Expired 时间戳或日期已过期 原因：一般由于时区差异造成时间戳...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
配置任务常见错误码及排查方法
解决方法：请重试，若仍然报错请联系技术支持解决。DTS.Msg.DbListIsEmpty 使用API配置任务时。原因：传入的DbList字段为null或传入的内容等效于null。解决方法：参考 迁移、同步或订阅对象说明 传入正确的DbList字段。DTS.Msg....
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑的迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑地迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
出错提示S10磁盘分区文件数据同步测试出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S10_*磁盘分区文件数据同步测试出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S10_*磁盘分区文件数据同步测试出错”。其中S10_*可能的错误码如下：S...
错误码
错误码 识别成功 错误码 错误信息 描述 0 SUCCESS 成功 配置或参数错误 错误码 错误消息 描述 解决方案 240999 DEFAULT_ERROR 内部默认错误。内部错误，请重试。240001 NUI_CONFIG_INVALID 配置文件错误。配置文件错误，请确认传入的资源...
错误码
错误码 识别成功 错误码 错误信息 描述 0 SUCCESS 成功 配置或参数错误 错误码 错误消息 描述 解决方案 240999 DEFAULT_ERROR 内部默认错误。内部错误，请重试。240001 NUI_CONFIG_INVALID 配置文件错误。配置文件错误，请确认传入的资源...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
出错提示S12数据同步密钥获取出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S12_*数据同步密钥获取出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S12_*数据同步密钥获取出错”。其中S12_*可能的错误码如下：S12_U28 S12_U7 S12...
错误反馈
解决方法：建议您直接使用内容安全SDK，SDK中已经封装了签名过程，无需您再编写签名代码。如果您只能使用HTTP方式调用接口，建议先查看内容安全签名机制。更多信息，请参见 SDK概览、签名机制。已经将*.aliyuncs.com加入防盗链白名单，为...
实时同步能力说明
说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块，将源端库持续不停地同步到目标端中，实现目标端对于源端的镜像效果。...
出错提示S8磁盘分区数据同步准备出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S8_*磁盘分区数据同步准备出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S8_*磁盘分区数据同步准备出错”。其中S8_*可能的错误码如下：S8_U28 S8_U7 ...
出错提示S7磁盘分区头数据同步准备出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S7_*磁盘分区头数据同步准备出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S7_*磁盘分区头数据同步准备出错”。其中S7_*可能的错误码如下：S7_U28 S7...
一键实时同步至Kafka
注意事项 独享集成资源组离线同步插件 Datax 版本必须大于等于20210726203000，实时同步插件 Streamx 版本必须大于等于202107121400，否则运行增量和全量同步Kafka数据时可能失败或者存在数据格式错误。离线同步插件版本：在 运维中心 找到...
集成函数计算异步调用
在 Serverless 工作流 的任务步骤中，异步调用函数计算可以更灵活地适应一些任务场景，例如长时任务、人工审核等，帮助您避免限流等错误，同时可以简化流程中的错误处理和重试逻辑。本文介绍 Serverless 工作流 集成函数异步调用的背景信息...
数据集成侧同步任务配置
如果同步任务中读取和写入的数据源与使用的DataWorks资源组不在同一个时区，将会导致时间类型字段同步错误。同步库个数限制：整库离线同步仅支持同步数据源指定的默认库。一键实时同步支持同步对应RDS实例下数据源配置账号有权限的所有数据...
Windows系统同步时间报错
问题描述 W indows系统同步时间报错，时间同步服务无法启动，提示找不到文件。问题原因 注册表错误导致系统同步时间报错。解决方案 查看系统日志中相关的错误信息，可以看到有注册表相关的错误信息。根据日志检查注册表中如下项是否有错误...
- 产品推荐
- 这些文档可能帮助您