离线同步常见问题
可能原因：数据库相关编码未设置为utf8mb4，导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样，导致预览失败或乱码。解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
Android
当监控到弱网环境时，为保证基础通信体验，建议您使用 SDK 对应的方法分别在发布端和订阅端进行如下优化：调整视频流规格：通过设置较低档位规格的 VideoProfile，减少视频通信的网络资源占用。切换视频为小流：小流有着与大流相同的宽高比...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
Android
当监控到弱网环境时，为保证基础通信体验，建议您使用SDK对应的方法分别在发布端和订阅端进行如下优化：调整视频流规格：通过设置较低档位规格的VideoProfile，减少视频通信的网络资源占用。切换视频为小流：小流有着与大流相同的宽高比，...
iOS
当监控到弱网环境时，为保证基础通信体验，建议您使用SDK对应的方法分别在发布端和订阅端进行如下优化：调整视频流规格：通过设置较低档位规格的VideoProfile，减少视频通信的网络资源占用。切换视频为小流：小流有着与大流相同的宽高比，...
使用自定义Topic通信
物联网平台对自定义Topic通信的数据格式没有要求，需您自定义。本文介绍如何为产品自定义Topic类及自定义Topic的使用和通信说明。背景信息 物联网平台Topic定义和通信说明，请参见 什么是Topic 和 使用Topic通信。应用场景 服务端下发消息...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
PolarDB-X 1.0迁移至PolarDB-X 2.0
如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。其他限制 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独...
创建PolarDB-X 1.0数据订阅任务
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
Tair选型指南
选择存储介质 云原生内存数据库Tair 从访问延时、持久化需求、整体成本这三个核心维度考量，推出了DRAM、NVM和ESSD云盘存储介质，为您提供更强的性能、更多的数据结构和更灵活的存储方式，满足不同场景下的业务需求。场景 推荐 特点 以性能...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏中填...
云数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：在DMS录入阿里云数据库的过程中，提示白名单问题（如下图所示），该如何操作？A：您可单击提示框的 设置白名单，系统将自动尝试在云数据库的白名单中添加DMS的服务器访问地址。若自动添加...
云数据库录入
在控制台首页左侧的 数据库实例 区域，单击新增实例 图标。说明 您也可以在控制台首页的搜索框中，输入 实例管理，在搜索结果中单击实例管理进入对应页面，单击 新增，进行新增实例操作。在 新增实例 页面，录入实例信息。类别 配置项 说明...
网络资源
网络资源是指用于节点之间通信和数据传输的硬件和软件资源，除了包括广域网、局域网、交换机、路由器，还包括常用到的专有网络、虚拟交换机、负载均衡、弹性公网、VPN、DNS、CDN等资源。在分布式系统中，网络资源的主要作用是支持节点之间...
如何恢复数据到其它数据库实例
说明 部分数据库支持单表或单库恢复粒度，减少恢复的数据量，缩短恢复时间RTO（Recovery Time Objective）。具体支持的恢复粒度，请参见 支持的数据库引擎与功能。在 预检查 对话框中显示 预检查通过 后，单击 立即启动。您可以在左侧的 ...
自建数据库异地备份
选择 数据源类型 为待备份的数据库类型，本示例选择 MySQL。选择 备份方式 为 逻辑备份。具体操作，请参见 购买备份计划。配置备份计划 访问 备份计划，然后在上方选择 备份计划 所在的地域，本示例为华北2。找到目标备份计划ID，单击右侧 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
RDS MySQL或自建MySQL逻辑备份
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。用户OSS：您需要提前在OSS中创建存储空间...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
配置备份计划
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
网络连通解决方案
数据源的端口配置错误或对应的网络端口没有放开，请确保配置正确的数据源端口及确保对应的网络端口已放开。数据源的版本和类型错误，请确保选择正确的数据源版本和类型。数据源的链接地址参数配置错误，请确保数据源链接地址的正确性。...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
DTS在执行增量数据同步时将从Kafka集群中获取对应的数据并实时同步至目标数据库（例如 云原生数据仓库AnalyticDB MySQL）。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
从自建TiDB增量迁移至RDS MySQL
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量数据迁移 DTS将待迁移对象的存量数据全部迁移到目标库中...
产品安全能力
数据脱敏 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
新建 MySQL 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅支持选择指定 Database Name 下的迁移对象。备注 数据源的...
新建 Oracle 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移或数据同步项目仅支持选择指定 Schema Name 下的迁移或同步...
- 产品推荐
- 这些文档可能帮助您