通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
IoT数据自动化同步至云端解决方案
物联网、大数据和云计算作为当前第三次信息化浪潮的代表技术，将在未来形成广泛的影响。物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的...
使用应用程序访问本地或第三方云数据库
除此之外，DG还提供数据库访问点功能，您部署在阿里云ECS上的应用程序，通过该访问点，也可以直接访问本地或第三方云数据库。使用DMS管理本地或第三方云数据库。使用DTS迁移本地或第三方云数据库。使用DBS迁移本地或第三方云数据库。什么是...
使用应用程序访问本地或第三方云数据库
除此之外，DG还提供数据库访问点功能，您部署在阿里云ECS上的应用程序，通过该访问点，也可以直接访问本地或第三方云数据库。使用DMS和DG管理本地或第三方云数据库。使用DTS和DG迁移、同步或订阅本地或第三方云数据库。使用DBS和DG备份本地...
快速入门
本文介绍大数据专家服务的购买方式。价格 版本定价说明：点击查看价格。操作步骤 第一步：进入阿里云官网，打开 大数据专家服务 产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...
使用限制
自建数据库迁移至云数据库MongoDB 将ECS上单节点或副本集架构的自建MongoDB迁移上云 使用DTS迁移单节点架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至单节点实例 第三方云数据库迁移至云数据库MongoDB 使用DTS将华为云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
发展历程
Forrester：CloudData Warehouse Q4 进入第三象限Contender象限。中国数字化转型与创新案例大会：年度大数据创新产品奖。国家大数据博览会十佳产品：最佳案例实践奖。2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的...
查看并管理已生成实例
③ 第三层 补数据实例层：展示对任务执行补数据操作后生成的实例，同时您也可以查看该实例依赖的DAG图。每个业务日期下包含的补数据实例的DAG相同。第一层、第二层：单个补数据实例的支持的操作。操作 描述 一键终止 Dataphin自动选中当前...
查看并管理已生成实例
③ 第三层 补数据实例层：展示对任务执行补数据操作后生成的实例，同时您也可以查看该实例依赖的DAG图。每个业务日期下包含的补数据实例的DAG相同。第一层、第二层：单个补数据实例的支持的操作。操作 描述 一键终止 Dataphin自动选中当前...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
使用DMS和DG管理本地或第三方云数据库
阿里云数据库网关DG（Database Gateway）支持在不暴露公网IP的前提下，将本地自建或第三方云厂商的数据库与阿里云服务连接起来，避免使用公网IP连接的安全风险。您可以通过数据库网关将本地或第三方云数据库录入DMS进行管理。背景信息 将...
使用DTS和DG迁移、同步或订阅本地或第三方云数据库
通过数据库网关DG（Database Gateway），您只需简单几步即可将本地或第三方云的数据库低成本地接入至阿里云。完成接入后，在创建数据传输服务DTS（Data Transmission Service）的数据迁移、同步或订阅任务时，您可以直接将数据库网关中接入...
使用DTS和DG迁移、同步或订阅本地或第三方云数据库
通过数据库网关DG（Database Gateway），您只需简单几步即可将本地或第三方云的数据库低成本地接入至阿里云。完成接入后，在创建数据传输服务DTS（Data Transmission Service）的数据迁移、同步或订阅任务时，您可以直接将数据库网关中接入...
使用DMS和DG管理本地或他云数据库
阿里云数据库网关DG（Database Gateway）支持在不暴露公网IP的前提下，将本地自建或第三方云厂商的数据库与阿里云服务连接起来，避免使用公网IP连接的安全风险。您可以通过数据库网关将本地或第三方云数据库录入DMS进行管理。背景信息 将...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
数据迁移方案概览
从自建Db2迁移至RDS MySQL 使用mysqldump迁移MySQL数据 从自建Oracle迁移至阿里云 数据导入 从CSV文件、TXT文件或SQL脚本导入数据到RDS 将第三方云数据库迁移至阿里云 腾讯云云数据库MySQL迁移到阿里云 Google Cloud SQL for MySQL数据库...
数据迁移与同步FAQ
对比项 DTS数据迁移 DTS数据同步 适用场景 主要用于迁移数据上云，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云Redis实例。主要用于两个Redis数据库之间的数据实时同步，例如从实例A同步至实例B。可用于异地多活、...
使用限制
自建数据库迁移至云数据库MongoDB 将ECS上分片集群架构的自建MongoDB迁移上云 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至分片集群实例 第三方云数据库迁移至云数据库MongoDB 使用NimoShake将...
离线同步常见问题
脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...
什么是数据库网关
如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地的数据库接...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
入仓解决方案
对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。它属于一次性任务，迁移完成后即可释放实例。主要用于两个数据源之间的数据实时同步，适用于异地多活、...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
多主集群（库表）概述
分服游戏场景：更好的性能和扩展能力，灵活扩缩容 场景特点：在游戏成长期，数据库负载较大，且呈现为不断增长的趋势特点。通常表现为在游戏成长期期间，会不断增加数据库，导致RW节点负荷也不断增加。而在游戏衰退期，数据库负载逐渐减少...
通过上传本地数据新建数据集
从第三行开始填写数据。必须包含至少一条数据，否则无法上传。如存在重复英文名称，则会上传失败。字段中文名和字段英文名需要设置为文本格式进行上传，否则会上传失败。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 ...
多主集群（库表）商业化
分服游戏场景：更好的性能和扩展能力，灵活扩缩容 场景特点：在游戏成长期，数据库负载较大，且呈现为不断增长的趋势特点。通常表现为在游戏成长期期间，会不断增加数据库，导致RW节点负荷也不断增加。而在游戏衰退期，数据库负载逐渐减少...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
什么是数据库网关
为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据库备份DBS，数据管理...
MongoDB 4.0
第三方云数据库迁移至阿里云数据库MongoDB：使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低，可能会...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
PolarDB Serverless实现了哪些突破
第三个挑战：构建一个可靠的系统。在Serverless架构下，数据库从一个单内核的系统，演变成跨节点部署，并且数据库的部分逻辑嵌入并运行在内存池和存储池中。架构变得更复杂，因此增加了系统故障的种类和产生故障的可能性。PolarDB 设计了对...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。读写分离应用 云数据库MongoDB采用三节点副本集的高可用架构，三个数据节点位于...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
- 产品推荐
- 这些文档可能帮助您