Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
什么是自动驾驶开发平台
数据管理提供自动驾驶采集数据在云上数据预处理、预标注、管理、检索、重组、回放、输出到仿真或训练系统中的能力：非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力，构建自动调度的10倍加速的自动驾驶数据工作流 多模态...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
什么是ETL
离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，不仅大幅提升报表产出效率，还能支持更多实时分析场景，满足了企业数字化...
流式ETL
离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，不仅大幅提升报表产出效率，还能支持更多实时分析场景，满足了企业数字化...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
什么是云原生数据湖分析
寻求安全的数据处理解决方案。DLA所有的库表及存储的数据都有一整套安全的方案，避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
报错源库或目标库连接失败
本文介绍预检查出现源库或目标库连接失败的处理办法。问题描述 在配置迁移或同步任务时，测试源库和目标库的连接都是正常的，但是在任务的预检查环节中，出现预检查失败，并提示“源库或目标库连接失败“，如下图：可能原因 源库和目标库的...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
“目标库对象数据存在性检查”产生警告
问题描述 在配置同步或迁移实例的 预检查 阶段，目标库对象数据存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的目标端中的数据库或数据表有存量数据（例如目标Redis中用于接收数据的DB存在数据），且在 配置任务对象...
数据处理与路由规则
通过配置数据处理规则，您可以在设备数据进行上链之前，对数据进行预处理，以进行脱敏和保护。通过配置路由规则您可以在“产品”维度把某产品下的设备数据路由到区块链中，通过切换不同的路由规则，您可以灵活的把设备数据路由到不同的区块...
“同名对象存在性检查”产生警告
问题描述 在配置同步或迁移实例的 预检查 阶段，同名对象存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的目标库中存在与源库同名的结构对象（例如目标MySQL数据库中存在与源库同名的表），且在 配置任务对象及高级...
常见问题
问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource方式读取导致的。解决方法：您需要在执行查询Hudi表的命令时，添加上 spark.sql.hive.convertMetastoreParquet=false。Hive查询Hudi数据重复，如何处理？问题...
DTS在数据迁移过程中预检查失败
详细信息 当您在使用DTS进行数据迁移过程中预检查失败，请参见以下表格内容进行修复：检测项 检测内容 失败原因 解决方法 源库连接性检查 检查DTS服务是否能够连通要迁移的源数据库。数据库账号或数据库密码不正确。源数据库对来源IP进行了...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
PolarDB PostgreSQL版间的迁移
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的资源和支持，帮助您解决问题并学习数据库的最佳实践。强烈建议您升级到 PolarDB PostgreSQL版（兼容Oracle）2.0版本，充分利用其优势。迁移评估 在您考虑进行系统迁移之前...
模型优化
比如数据的预处理阶段，尽可能去除掉对于结果无关的噪音。还可以尝试我们平台提供的数据增强功能，对数据集进行扩充。分析 bad case，有针对性地补充数据。比如，您发现模型对于某一种类别经常分不对，很有可能是该类别数据量太少的原因，...
从自建MySQL迁移至RDS实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建MySQL迁移至 RDS MySQL 或RDS ...常见问题 Q：预检查失败如何处理？A：详情请参见 源库连接性检查。Q：迁移失败的任务如何处理？A：详情请参见 修复迁移失败的任务。
升级评估
为了保证升级链路的顺利进行以及更好的升级体验，PolarDB 为大版本升级提供了升级评估功能，您可以在开始升级前，对集群状态、升级任务依赖、源集群属性信息等前提条件进行预校验，提前发现影响升级进度的前置条件并处理，以降低升级过程中...
迁移评估
为了保证迁移链路的顺利进行以及更好的迁移体验，PolarDB 提供了迁移评估功能，您可以在开始迁移前，对实例状态、迁移任务依赖、源实例属性信息等前提条件进行预校验，提前发现影响迁移进度的前置条件并处理，以降低迁移过程中的处理成本和...
从自建MySQL迁移至MyBase MySQL
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据迁移任务不会被启动。说明 如果目标库中同名的表...
版本发布记录
支持分区级别的预处理，解决预聚合问题。半结构化JSON object类型支持如下特性：支持JSON object类型存储。支持JSON对象属性按照独立列存储。支持实验性功能，需要设置开关 set allow_experimental_object_type=1。性能优化 INSERT性能提升...
从Amazon RDS SQL Server全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从Amazon RDS for PostgreSQL全量迁移至阿里云
数据库账号的权限要求 数据库 结构迁移 全量迁移 Amazon RDS for PostgreSQL pg_catalog的usage权限 迁移对象的select权限 阿里云RDS PostgreSQL 迁移对象的create、usage权限 schema的owner权限 全量数据迁移流程 为解决对象间的依赖，...
RDS MySQL助力MySQL 5.7升级8.0
经常升级失败并且难以分析失败原因 尽管社区提供了相应的检查工具和帮助文档，以帮助用户进行升级前的检查和问题解决。然而在实际操作中经常会遇到升级失败的情况，出现各种各样的错误，并且很难从日志信息中逐一分析升级失败的原因。升级...
从Amazon RDS for PostgreSQL增量迁移至阿里云
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据迁移任务不会被启动。说明 如果目标库中同名的表...
OceanBase（MySQL模式）迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持将OceanBase数据库迁移至 RDS MySQL 实例，帮助您解决数据库运维的烦恼。前提条件 源OceanBase数据库需为社区版，且为4.X 版本。已创建存储空间须大于源OceanBase数据库的目标 RDS MySQL ...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
跨阿里云账号同步RDS MySQL实例
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
Logview诊断实践
数据跨集群复制阶段 问题现象：子状态列表里面出现多次 Task rerun，Result 里有错误信息 FAILED:ODPS-0110141:Data version exception。作业看似失败了，实际还在执行，说明作业正在做数据的跨集群复制。产生原因一：Project刚做集群迁移...
- 产品推荐
- 这些文档可能帮助您