自建Hadoop数据迁移到阿里云E-MapReduce

客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 本实践方案提供如下场景的最佳实践:基于IPSec VPN隧道+DistCp(Hadoop原生工具),将数据...

E-MapReduce数据迁移方案

新旧集群网络打通 线下IDC自建Hadoop 自建Hadoop迁移到E-MapReduce可以通过OSS进行过渡,或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离,E-...

数据迁移

数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute,详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute,详情请参见 迁移消息队列...

自建HDFS迁移数据

自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时,可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示:hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...

数据迁移

本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群,并选择了Kudu服务,详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本,可以使用社区...

自建Hive数据仓库迁移到阿里云E-MapReduce

客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型(CPU、内存)与磁盘,并选择所需的软件,进行自动化部署。经济性 您可以按需创建集群,即离线作业运行结束就可以...

什么是EMR on ECS

自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式,集群资源支持灵活调整,数据分层存储,资源使用率高。无额外软件License费用。需...

迁移方案概览

源库 目标库 迁移类型 配置文档 PolarDB MySQL版 所有版本 PolarDB MySQL版 所有版本 库表结构迁移 全量数据迁移 增量数据迁移 PolarDB MySQL版间迁移 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 库表结构迁移 全量数据...

迁移概述

迁移自建Kafka集群元数据至已有实例 迁移自建Kafka集群元数据至新实例 迁移Topic上云 迁移Group上云 MirrorMaker 您可以使用该工具将源自建Kafka集群中的数据镜像拷贝到目标 云消息队列 Kafka 版 集群。迁移数据上云 迁移操作流程 流程说明...

查看迁移进度

迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 位点迁移 重要 目前不支持将自建Kafka集群的位点迁移到 云消息队列 Kafka 版。操作步骤 重要 云消息队列 Kafka...

数据湖生态接入

生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用...

支持的数据库

自建Kafka 0.10.1.0~2.7.0版本 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至阿里云消息队列Kafka版 从自建MySQL同步至阿里云消息队列Kafka版 从ECS上的自建MySQL同步至自建Kafka集群 从通过专线、VPN网关或智能接入...

测试环境

场景三:1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明:使用自建Spark和DLA Spark分别访问自建Hadoop集群,运行Terasort 1 TB基准测试,对它们的耗时进行对比分析。DLA Spark+OSS配置如下:配置名称 ...

测试结果

1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时(min)DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用,自建Hadoop集群在高峰期需要...

验证迁移结果

迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 操作步骤 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,...

自建PostgreSQL全量迁移至RDS PostgreSQL

数据库账号的权限要求 数据库 结构迁移 全量迁移 自建PostgreSQL数据库 pg_catalog的usage权限 迁移对象的select权限 RDS PostgreSQL实例 迁移对象的create、usage权限 schema的owner权限 数据库账号创建及授权方法:自建PostgreSQL数据库...

异构数据源访问

当目标数据源为自建Hadoop集群,选择 自建Hadoop。数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验,提示网络连通。单击下一步,填写 配置文件。参数 说明 获取方式 参数配置 无 ...

评估规格

如果您不清楚待迁移自建Kafka集群相关的信息,您可以使用迁移工具评估,在迁移任务中评估,并根据推荐购买新的 云消息队列 Kafka 版 实例以完成迁移。具体操作,请参见 迁移自建Kafka集群至新实例。评估规格 说明 云消息队列 Kafka 版 的...

自建PostgreSQL(10.0及以下版本)增量迁移至RDS ...

数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 自建PostgreSQL数据库 pg_catalog的usage权限 迁移对象的select权限 superuser RDS PostgreSQL实例 迁移对象的create、usage权限 schema的owner权限 schema的owner权限 数据库账号...

使用DTS迁移单节点架构的自建MongoDB数据库上云

数据库账号的权限要求 迁移数据源 全量数据迁移 自建MongoDB数据库 待迁移库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 数据库账号创建及授权方法:自建MongoDB数据库请参见 MongoDB Create User说明。阿里云MongoDB实例请参见...

自建SQL Server增量迁移至RDS SQL Server

数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 自建SQL Server数据库 SELECT权限 SELECT权限 sysadmin RDS SQL Server实例 读写权限 读写权限 读写权限 数据库账号创建及授权方法:自建SQL Server数据库请参见 CREATE USER。...

使用DTS迁移单节点架构的自建MongoDB数据库上云

数据库账号的权限要求 迁移数据源 全量数据迁移 自建MongoDB数据库 待迁移库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 数据库账号创建及授权方法:自建MongoDB数据库请参见 MongoDB Create User说明。阿里云MongoDB实例请参见...

使用DTS迁移副本集架构的自建MongoDB数据库上云

数据库账号的权限要求 迁移数据源 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:...

自建SQL Server全量迁移至RDS SQL Server

数据库账号的权限要求 数据库 结构迁移 全量迁移 自建SQL Server数据库 SELECT权限 SELECT权限 RDS SQL Server实例 读写权限 读写权限 数据库账号创建及授权方法:自建SQL Server数据库请参见 CREATE USER。RDS SQL Server实例请参见 创建...

使用DTS迁移副本集架构的自建MongoDB数据库上云

数据库账号的权限要求 迁移数据源 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:...

自建Greenplum迁移到AnalyticDB PostgreSQL版

采购AnalyticDB PostgreSQL版生产实例,迁移自建Greenplum集群生产库。将业务切换到AnalyticDB PostgreSQL版生产实例,验证业务。注意事项 目前仅支持数据迁移,不支持数据同步,如果迁移过程中新写入了数据,需要在迁移完成后主动补数。请...

迁移上云操作

重要 您需要配置所有待迁移自建集群的Name Server信息,如有遗漏,可能会导致后续进行迁移操作时选不到需要迁移的Topic。192.168.XX.XX:9876 访问凭证 不涉及:若开源自建集群未开启ACL认证,选择该参数,无需配置访问凭证。ACL:若开源自...

自建MySQL迁移至PolarDB MySQL版

数据库 结构/全量迁移 增量迁移 自建MySQL数据库 SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT权限 PolarDB MySQL版 集群 读写权限 读写权限 数据库账号创建及授权方法:自建MySQL数据库请参见 为自建MySQL创建...

自建Oracle迁移至PolarDB-X

数据库 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 DBA PolarDB-X 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法:自建Oracle数据库请参见 CREATE USER 和 GRANT。PolarDB-X 请参见 账号管理。...

使用DTS迁移分片集群架构的自建MongoDB数据库上云

数据库账号的权限要求 数据库 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:自建...

使用DTS迁移分片集群架构的自建MongoDB数据库上云

数据库账号的权限要求 数据库 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:自建...

自建Oracle迁移至阿里云RDS MySQL

数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 DBA RDS MySQL 或RDS MySQL Serverless 实例 待迁入数据库的写权限 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法:...

自建Oracle迁移至阿里云RDS MySQL

数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 DBA RDS MySQL 或RDS MySQL Serverless 实例 待迁入数据库的写权限 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法:...

自建MySQL迁移至PolarDB MySQL版

数据库 库表结构迁移 全量迁移 增量迁移 自建MySQL数据库 SELECT权限 SELECT权限 增量数据迁移:待迁移对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限,以允许DTS创建库dts,用于记录迁移期间的心跳...

自建PostgreSQL迁移至RDS PostgreSQL

数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 自建PostgreSQL数据库 pg_catalog的usage权限 迁移对象的select权限 superuser RDS PostgreSQL 实例 迁移对象的create、usage权限 schema的owner权限 schema的owner权限 数据库...

快速使用可观测可视化 Grafana 版

迁移自建Grafana大盘数据 在 概览 页面,单击 迁移自建Grafana,然后在弹出的对话框中选择数据需要迁移到的工作区,单击 去迁移。在 数据迁移 页面单击 创建迁移,选择 迁移自建Grafana。在弹出的对话框中设置迁移授权方式为Admin、输入...

自建MySQL迁移至PolarDB MySQL版

TRUNCATE TABLE 数据库账号的权限要求 数据库 库表结构迁移 全量迁移 增量迁移 自建MySQL数据库 SELECT权限 SELECT权限 增量数据迁移:待迁移对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限,以允许...

快速使用可观测可视化 Grafana 版

迁移自建Grafana大盘数据 在 概览 页面,单击 迁移自建Grafana,然后在弹出的对话框中选择数据需要迁移到的工作区,单击 去迁移。在 数据迁移 页面单击 创建迁移,选择 迁移自建Grafana。在弹出的对话框中设置迁移授权方式为Admin、输入...

自建Oracle迁移至RDS MySQL

数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 需要精细化授权 RDS MySQL 实例 待迁入数据库的写权限 数据库账号创建及授权方法:自建Oracle数据库请参见 数据库账号准备、CREATE USER 和 ...

自建Oracle间迁移

本文介绍如何使用数据传输服务DTS(Data Transmission Service),实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
闪电立方 云虚拟主机 数据传输服务 开源大数据平台 E-MapReduce 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用