一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
我是普通用户
SQLConsole SQL窗口 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。库表结构 结构设计 ...
查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
PolarDB MySQL版迁移至Elasticsearch
全量数据迁移时DTS会占用源和目标库一定读写资源，可能会导致数据库的负载上升。建议在执行数据迁移前评估源库和目标库的性能，同时在业务低峰期执行数据迁移。请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更...
OSS Foreign Table功能概览
与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table，具体信息如下：功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持 支持 OSS数据分析（大数据量场景）大数据量...
查询报错问题
查询时报错，提示 scanRows exceed limit 分析型数据库MySQL版查询时报错，错误信息为：ErrMsg:ErrCode:2001 ErrType:QUERY_EXCEED_LIMIT ErrMsg:scanRows exceed limit:xxx>为避免用户输入的SQL误写或性能较差，从而导致扫描表的大量数据...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
迁移方案概览
PolarDB MySQL版 所有版本 库表结构迁移 全量数据迁移 增量数据迁移 自建MySQL迁移至PolarDB MySQL版 RDS MySQL迁移至PolarDB MySQL版 PolarDB-X 1.0 全量数据迁移 增量数据迁移 RDS MySQL迁移至PolarDB-X 1.0 PolarDB-X 2.0 库表结构迁移 ...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
DLA提供强大的分析能力，可以对投递到OSS上的日志按年、月、日进行多维度的分区，提高日志的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史日志分析。实施步骤 假设您的应用服务部署在ECS集群上，该集群每台机器上的...
构建全量数据索引
对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，...
同步方案概览
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
全增量同步任务运维
全量补数据 该功能适用于MaxCompute目标表由于各种原因出现了数据缺失等正确性问题，需要重新同步全量数据补回全量数据的场景。说明 仅一键实时同步至MaxCompute任务支持全量补数据。全量补数据暂不支持分库分表同步任务。单击对应同步任务...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
查看数据迁移进度
在数据迁移任务执行的过程中，您通过控制台查看结构迁移、全量数据迁移或增量数据迁移的执行情况和具体进度。前提条件 已启动数据迁移任务。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在...
一键MaxCompute任务出错恢复
对于一键整库实时同步至MaxCompute任务，可以参看上文，执行 全量补数据将当前全量数据同步至历史分区。不支持按时间范围补历史数据。对于其他全增量同步任务，您需要手动 创建离线同步任务，补回历史数据。Merge任务的报错失败 失败后的...
背景信息以及准备工作
DLA可以对投递到OSS上的数据按年、按月、按日进行多维度的分区，提高数据的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史数据分析。DataV中有多种场景模板，解决您的设计难题。提供多种业务模块级别而非图表组件的...
产品架构
全量数据迁移：在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。源数据库保持运行状态，在迁移过程中仍不断进行数据更新。DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，...
Redis备份上云
在左侧导航栏单击 备份任务>全量数据备份，在页面右上角单击 恢复数据库。在 配置恢复时间点 页面，按照下表完成配置，并单击 下一步。类别 配置 说明 无 恢复任务名称 DBS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性...
查看数据迁移项目的详情
全量校验 在全量数据迁移完成，增量数据迁移至目标端并与源端基本追平后，数据传输会自动发起一轮针对源库配置的数据表和目标表的全量数据校验任务。增量数据同步过程中，您也可以发起自定义的数据检验，数据传输会提供相应的接口。您可以...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
数据迁移方案概览
如果在配置数据迁移任务时，仅选择了结构迁移和全量数据迁移，那么在迁移过程中，源库的新增数据不会被迁移至目标库。重要 为保障数据一致性，迁移期间请勿在源库中写入新的数据。如需实现不停机迁移，您需要在配置数据迁移任务时，同时...
RDS增量数据同步至MaxCompute
对持续更新的数据进行增量同步 根据数据仓库反映历史变化的特点，建议每天对人员表、订单表等会发生变化的数据进行全量同步，即每天保存的都是全量数据，方便您获取历史数据和当前数据。真实场景中因为某些特殊情况，需要每天只进行增量...
RDS增量数据同步至MaxCompute
对持续更新的数据进行增量同步 根据数据仓库反映历史变化的特点，建议每天对人员表、订单表等会发生变化的数据进行全量同步，即每天保存的都是全量数据，方便您获取历史数据和当前数据。真实场景中因为某些特殊情况，需要每天只进行增量...
将ECS上单节点或副本集架构的自建MongoDB迁移上云
费用说明 迁移类型 链路配置费用 公网流量费用 全量数据迁移 不收取 不收取 增量数据迁移 收取，费用详情请参见 数据传输服务DTS定价。不收取 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
RDS MariaDB迁移至RDS PostgreSQL
您可以根据实际情况，选择是否对全量迁移任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 全量迁移 时才可以配置。是否限制增量...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
自定义配置 DDL/DML
不支持对选择 DML 过滤的数据迁移项目进行全量数据校验。DDL 同步 除支持的增量 DDL 类型外，其它类型均不支持。如果需要同步的表涉及不支持的 DDL 类型，数据迁移或数据同步项目可能会中断并造成数据问题，且无法恢复。请勿在结构迁移/...
增量数据同步
ys_yhkh（未上云）同步模式 必选项，数据进行同步的方式，可根据实际情况选择全量数据同步或者根据增量字段进行增量数据同步。本文因介绍增量离线同步任务，此处需点选 增量。增量 增量字段 数据进行增量同步时依据的字段。针对数值、时间...
实例间的数据库复制
功能说明 RDS SQL Server在将数据从源实例复制到目标实例期间，先对源实例做一次全量数据备份，待源实例备份完成后，再将数据复制到目标实例。如果数据复制期间源实例不停写，增量数据不会被复制到目标实例。您可以选择单库复制或全库复制...
- 产品推荐
- 这些文档可能帮助您