客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 本实践方案提供如下场景的最佳实践:基于IPSec VPN隧道+DistCp(Hadoop原生工具),将数据...
新旧集群网络打通 线下IDC自建Hadoop 自建Hadoop迁移到E-MapReduce可以通过OSS进行过渡,或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离,E-...
数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute,详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute,详情请参见 迁移消息队列...
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时,可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示:hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群,并选择了Kudu服务,详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本,可以使用社区...
客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型(CPU、内存)与磁盘,并选择所需的软件,进行自动化部署。经济性 您可以按需创建集群,即离线作业运行结束就可以...
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式,集群资源支持灵活调整,数据分层存储,资源使用率高。无额外软件License费用。需...
源库 目标库 迁移类型 配置文档 PolarDB MySQL版 所有版本 PolarDB MySQL版 所有版本 库表结构迁移 全量数据迁移 增量数据迁移 PolarDB MySQL版间迁移 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 库表结构迁移 全量数据...
迁移自建Kafka集群元数据至已有实例 迁移自建Kafka集群元数据至新实例 迁移Topic上云 迁移Group上云 MirrorMaker 您可以使用该工具将源自建Kafka集群中的数据镜像拷贝到目标 云消息队列 Kafka 版 集群。迁移数据上云 迁移操作流程 流程说明...
迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 位点迁移 重要 目前不支持将自建Kafka集群的位点迁移到 云消息队列 Kafka 版。操作步骤 重要 云消息队列 Kafka...
生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用...
自建Kafka 0.10.1.0~2.7.0版本 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至阿里云消息队列Kafka版 从自建MySQL同步至阿里云消息队列Kafka版 从ECS上的自建MySQL同步至自建Kafka集群 从通过专线、VPN网关或智能接入...
场景三:1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明:使用自建Spark和DLA Spark分别访问自建Hadoop集群,运行Terasort 1 TB基准测试,对它们的耗时进行对比分析。DLA Spark+OSS配置如下:配置名称 ...
1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时(min)DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用,自建Hadoop集群在高峰期需要...
迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 操作步骤 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,...
数据库账号的权限要求 数据库 结构迁移 全量迁移 自建PostgreSQL数据库 pg_catalog的usage权限 迁移对象的select权限 RDS PostgreSQL实例 迁移对象的create、usage权限 schema的owner权限 数据库账号创建及授权方法:自建PostgreSQL数据库...
当目标数据源为自建Hadoop集群,选择 自建Hadoop。数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验,提示网络连通。单击下一步,填写 配置文件。参数 说明 获取方式 参数配置 无 ...
如果您不清楚待迁移自建Kafka集群相关的信息,您可以使用迁移工具评估,在迁移任务中评估,并根据推荐购买新的 云消息队列 Kafka 版 实例以完成迁移。具体操作,请参见 迁移自建Kafka集群至新实例。评估规格 说明 云消息队列 Kafka 版 的...
数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 自建PostgreSQL数据库 pg_catalog的usage权限 迁移对象的select权限 superuser RDS PostgreSQL实例 迁移对象的create、usage权限 schema的owner权限 schema的owner权限 数据库账号...
数据库账号的权限要求 迁移数据源 全量数据迁移 自建MongoDB数据库 待迁移库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 数据库账号创建及授权方法:自建MongoDB数据库请参见 MongoDB Create User说明。阿里云MongoDB实例请参见...
数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 自建SQL Server数据库 SELECT权限 SELECT权限 sysadmin RDS SQL Server实例 读写权限 读写权限 读写权限 数据库账号创建及授权方法:自建SQL Server数据库请参见 CREATE USER。...
数据库账号的权限要求 迁移数据源 全量数据迁移 自建MongoDB数据库 待迁移库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 数据库账号创建及授权方法:自建MongoDB数据库请参见 MongoDB Create User说明。阿里云MongoDB实例请参见...
数据库账号的权限要求 迁移数据源 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:...
数据库账号的权限要求 数据库 结构迁移 全量迁移 自建SQL Server数据库 SELECT权限 SELECT权限 RDS SQL Server实例 读写权限 读写权限 数据库账号创建及授权方法:自建SQL Server数据库请参见 CREATE USER。RDS SQL Server实例请参见 创建...
数据库账号的权限要求 迁移数据源 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:...
采购AnalyticDB PostgreSQL版生产实例,迁移自建Greenplum集群生产库。将业务切换到AnalyticDB PostgreSQL版生产实例,验证业务。注意事项 目前仅支持数据迁移,不支持数据同步,如果迁移过程中新写入了数据,需要在迁移完成后主动补数。请...
重要 您需要配置所有待迁移自建集群的Name Server信息,如有遗漏,可能会导致后续进行迁移操作时选不到需要迁移的Topic。192.168.XX.XX:9876 访问凭证 不涉及:若开源自建集群未开启ACL认证,选择该参数,无需配置访问凭证。ACL:若开源自...
数据库 结构/全量迁移 增量迁移 自建MySQL数据库 SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT权限 PolarDB MySQL版 集群 读写权限 读写权限 数据库账号创建及授权方法:自建MySQL数据库请参见 为自建MySQL创建...
数据库 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 DBA PolarDB-X 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法:自建Oracle数据库请参见 CREATE USER 和 GRANT。PolarDB-X 请参见 账号管理。...
数据库账号的权限要求 数据库 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:自建...
数据库账号的权限要求 数据库 全量数据迁移 增量数据迁移 自建MongoDB数据库 待迁移库的read权限 待迁移库、admin库和local库的read权限 阿里云MongoDB数据库 目标库的readWrite权限 目标库的readWrite权限 数据库账号创建及授权方法:自建...
数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 DBA RDS MySQL 或RDS MySQL Serverless 实例 待迁入数据库的写权限 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法:...
数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 DBA RDS MySQL 或RDS MySQL Serverless 实例 待迁入数据库的写权限 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法:...
数据库 库表结构迁移 全量迁移 增量迁移 自建MySQL数据库 SELECT权限 SELECT权限 增量数据迁移:待迁移对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限,以允许DTS创建库dts,用于记录迁移期间的心跳...
数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 自建PostgreSQL数据库 pg_catalog的usage权限 迁移对象的select权限 superuser RDS PostgreSQL 实例 迁移对象的create、usage权限 schema的owner权限 schema的owner权限 数据库...
迁移自建Grafana大盘数据 在 概览 页面,单击 迁移自建Grafana,然后在弹出的对话框中选择数据需要迁移到的工作区,单击 去迁移。在 数据迁移 页面单击 创建迁移,选择 迁移自建Grafana。在弹出的对话框中设置迁移授权方式为Admin、输入...
TRUNCATE TABLE 数据库账号的权限要求 数据库 库表结构迁移 全量迁移 增量迁移 自建MySQL数据库 SELECT权限 SELECT权限 增量数据迁移:待迁移对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限,以允许...
迁移自建Grafana大盘数据 在 概览 页面,单击 迁移自建Grafana,然后在弹出的对话框中选择数据需要迁移到的工作区,单击 去迁移。在 数据迁移 页面单击 创建迁移,选择 迁移自建Grafana。在弹出的对话框中设置迁移授权方式为Admin、输入...
数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 需要精细化授权 RDS MySQL 实例 待迁入数据库的写权限 数据库账号创建及授权方法:自建Oracle数据库请参见 数据库账号准备、CREATE USER 和 ...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...