应用评估
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
调度依赖配置指引
方式一：自定义依赖关系 若DataWorks上任务间不存在强血缘依赖（例如，不强依赖上游某个分区数据，仅取上游当前时间点最大分区数据），或依赖的数据非周期调度节点产出的表数据（例如，本地上传的表数据），则您可自定义节点的依赖关系。...
任务运行诊断
上游任务对当前任务执行的影响如下：上游任务是否为成功状态，决定当前任务是否执行 节点依赖关系设置后，默认当前任务与当前任务依赖的上游存在数据依赖（即上游任务未执行，将导致当前节点依赖的上游数据未产出，当前节点执行会产生数据...
引擎功能
数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的...
数据库画像
外部依赖 提供DBLink列表和详情信息，对于包含外部依赖的数据库，改造时需要考虑跨库查询问题。其他维度 ADAM对特殊类型的表和SQL进行识别分析，例如：无主键表，高增长表，带聚合函数SQL等。单击 查看，查看对象的详细信息。对象详情 提供...
依赖跟踪
之所以在这里会停下，是因为没有什么依赖着外键约束（如果希望检查 DROP.CASCADE 会干什么，运行不带 CASCADE 的 DROP 并阅读 DETAIL 输出）。本数据库中的几乎所有 DROP 命令都支持 CASCADE。当然，其本质的区别随着对象的类型而不同。...
使用SDK示例代码消费订阅数据
持久化后的消费位点是什么格式的数据？消费位点在持久化处理后，将返回JSON格式的数据。其中，持久化后的消费位点的格式为Unix时间戳，您可以直接将其传回SDK进行使用。如下返回数据中，"timestamp"后的 1700709977 即为持久化后的消费位点...
使用SDK示例代码消费订阅数据
持久化后的消费位点是什么格式的数据？消费位点在持久化处理后，将返回JSON格式的数据。其中，持久化后的消费位点的格式为Unix时间戳，您可以直接将其传回SDK进行使用。如下返回数据中，"timestamp"后的 1700709977 即为持久化后的消费位点...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
数据模型架构规范
将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。核心模型与扩展模型分离 建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要。在必须让核心模型与扩展...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
删除或变更节点输出的影响
示例：上游产出表变更，导致下游依赖丢失 示例 Node_A 产出表A数据，下游节点 Node_B 需对表A的数据进行加工，自动解析将为 Node_B 挂载依赖上游节点 Node_A。当业务变更，表A数据变更为由 Node_C 产出，此时，自动解析将重新为下游 Node_B...
配置任务调度
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在相应的业务流程下，双击打开离线同步节点 write_result 的编辑页面。单击编辑页面右侧导航栏的 ...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
DLF数据探索快速入门-淘宝用户行为分析
数据说明 本次测试的数据集来自阿里云天池比赛中使用的淘宝用户行为数据集，为了提高性能，我们做了一定的裁剪。数据集中以csv的格式存储了用户行为及商品样例数据。淘宝用户行为数据集介绍：...
MongoDB 6.0新特性概览
变更流可以让业务更容易地实时获取数据库的变更，并基于此构建各种事件驱动型的应用或系统，不再需要依赖其他的数据同步中间件。变更流的功能更新记录如下：版本 更新说明 MongoDB 3.6 首次发布。仅支持订阅集合（Collection）维度。events...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
支持的数据库
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互。本文详细介绍DTS支持的数据库、迁移类型、同步初始化类型、同步拓扑和支持订阅的数据类型。说明 关于文中涉及的迁移类型、同步类型、订阅的数据...
确认表血缘
开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面，查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点，可通过数据地图确认表数据每日写入情况。...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
集成概览
Terraform支持的数据库文件存储DBFS资源类型，请参见 Terraform。自定义封装（不推荐）支持 需要自行封装请求，请参见 自定义封装。注意事项 如果调用API后返回错误，您需要根据返回的错误码提示检查传入的请求参数及其取值是否正确，更多...
RDS MySQL实例间的同步
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例间的数据同步。支持的源和目标数据库 MySQL间同步支持以下源或目标数据库。本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。源数据...
MySQL实例间的双向同步
说明 源和目标 RDS MySQL 实例可以不同或相同，即您可以使用DTS实现两个 RDS MySQL 实例间的数据迁移或同一 RDS MySQL 实例内的数据迁移。数据库账号 填入源 RDS MySQL 实例的高权限账号。数据库密码 填入该数据库账号对应的密码。连接方式...
自建MySQL同步至RDS MySQL
若您的MySQL数据库部署在本地，您需要将DTS服务器的IP地址添加到该数据库远程连接的白名单中，以允许其访问您的数据库。更多信息，请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。已创建存储空间大于自建MySQL数据库占用存储空间的...
MySQL实例间的双向同步
说明 源和目标 RDS MySQL 实例可以不同或相同，即您可以使用DTS实现两个 RDS MySQL 实例间的数据迁移或同一 RDS MySQL 实例内的数据迁移。数据库账号 填入源 RDS MySQL 实例的高权限账号。数据库密码 填入该数据库账号对应的密码。连接方式...
FAQ
如果非admin用户尝试用 USE 指定一个他们没有 READ 和/或 WRITE 权限的数据库，那么系统会返回错误：ERR:Database<database_name>doesn't exist.Run SHOW DATABASES for a list of existing databases.说明 SHOW DATABASES查询只返回那些非...
X-Engine简介
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
场景2：依赖上一周期的结果时，如何配置调度依赖
依赖上一周期和依赖本周期的区别：在运维中心中查看节点依赖关系时，所有跨周期依赖的节点都会以虚线的形式展示。下线节点时需要删除节点依赖关系，需要删除的依赖关系包括跨周期依赖（①）和同周期依赖（②）。您可以根据业务需求选择需要...
常见问题
阿里云数据库HBase是基于HBase及HBase生态构建的低成本一站式数据处理平台，实现数据从处理、存储到分析全流程闭环，让客户用低成本实现一站式数据处理。相比自建HBase和EMR HBase的优势是什么？提供低成本，一站式的能力。线下或者ECS自建...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
自建Oracle迁移至DataHub
在DTS迁移数据期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移 不收费。本示例不收费。说明 通过公网将数据迁移出阿里云时将收费，详情请参见 计费概述...
OceanBase（MySQL模式）迁移至RDS MySQL
其他限制 如果待迁移的数据库名称不符合 RDS MySQL 的定义规范，您需要在配置迁移任务之前在 RDS MySQL 中创建数据库，然后在 配置任务对象及高级配置 阶段使用对象名映射功能。RDS MySQL 据库名称的定义规范和创建方法，请参见 管理数据库...
RDS MySQL实例间的迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现 RDS MySQL 实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
PolarDB-X 2.0迁移至RDS MySQL
当目标库为RDS MySQL时 DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 创建数据库。费用说明 迁移类型 链路配置费用 公网流量...
- 产品推荐
- 这些文档可能帮助您