自建Hadoop数据迁移到阿里云E-MapReduce

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};

通过DataWorks将Hadoop数据同步到阿里云ES

新增Hadoop数据源。在 数据源列表 页面,单击 新增数据源。在 新增数据源 页面,搜索并选择 HDFS。在 新增HDFS数据源 页面,配置数据源参数。配置详情,请参见 配置HDFS数据源。单击 测试连通性,连通状态显示为 可连通 时,表示连通成功。...

迁移Hadoop文件系统数据至JindoFS

迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...

通过HDP 2.6 Hadoop读取和写入OSS数据

HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台,包含了Hadoop、Hive、HBase等开源组件。HDP 3.0.1版本中的Hadoop 3.1.1版本已支持OSS,但是低版本的HDP不支持OSS。本文以HDP 2.6.1.0版本为例,介绍如何配置HDP 2.6版本...

通过ES-Hadoop将HDFS中的数据写入Elasticsearch

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

Spark是一种通用的大数据计算框架,拥有Hadoop MapReduce所具有的计算优点,能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比,减少了中间数据读取磁盘的过程,进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...

通过CDH5 Hadoop读取和写入OSS数据

CDH(Cloudera's Distribution,including Apache Hadoop)是众多Hadoop发行版本中的一种,最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS,但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...

E-MapReduce数据迁移

如果E-MapReduce HDFS文件系统上的数据量较大,需要使用数据迁移工具hadoop distcp进行数据迁移。具体操作,请参见 迁移开源HDFS的数据到文件存储HDFS版。hadoop distcp hdfs:/emr-header-1.cluster-xxxx:9000/dfs:/f-xxxxxxxxxxxxxxx....

CDH6数据迁移

如果CDH HDFS文件系统上的数据量较大,需要使用数据迁移工具Hadoop Distcp进行数据迁移。具体操作,请参见 迁移开源HDFS的数据到文件存储HDFS版。您还可以使用Distcp的-filters 参数在迁移过程中忽略原HDFS上的目录或文件,实现部分文件...

MaxCompute+Hadoop搭建实践

准备Hadoop数据源 创建Hadoop集群,具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后,在终端界面输入如下命令:[has@emr-header-1 root]$hive-创建库 create database if not exists myhive;切换...

Dataphin管道任务运维补数据只有20220430才会报错...

问题描述 Dataphin管道任务运维补数据只有20220430才会报错“org.apache.hadoop.security.AccessControlException:Permission denied by sticky bit”,其他日期补数据不会报错。问题原因 由于hive使用的是 hadoop 的 HDFS(hadoop 的分布...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

使用JindoFS SDK免密功能

本文介绍使用JindoFS SDK时,E-MapReduce(简称EMR)集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境:ECS(EMR环境外)+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时,需要把环境中相关Jindo的包从环境中移除...

Credential Provider使用说明

使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法,请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....

数据上云场景

使用DataWorks结合DataX进行Hadoop数据迁移的示例请参见 Hadoop数据迁移新手教程,或参见视频教程 Hadoop数据迁移到MaxCompute最佳实践。Sqoop执行时,会在原来的Hadoop集群上执行MR作业,可以分布式地将数据传输到MaxCompute上,详情请...

EMR集群JindoData升级流程(旧版控制台)

准备软件包和升级脚本 登录EMR集群的Master节点,并将下载的patch包放在Hadoop用户的HOME目录下,将patch包解压缩后,使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...

HDFS常见命令介绍

您可以在已经创建好的E-MapReduce(简称EMR)集群中,直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...

常见命令

您可以在已经创建好的E-MapReduce(简称EMR)集群中,直接使用Alluxio Shell命令来对Alluxio中的文件进行操作,也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群,并选择了Alluxio服务...

Credential Provider使用说明

背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件,从而避免配置明文AccessKey,根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...

Credential Provider使用说明

背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件,从而避免配置明文AccessKey,根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...

通过Hadoop Shell命令访问

如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作,您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务,确保已创建EMR-3.44.0及...

最佳实践概览

通过DataWorks将MaxCompute数据同步至Elasticsearch 通过阿里云Logstash将MaxCompute数据同步至Elasticsearch 通过实时计算处理数据并同步到Elasticsearch 通过DataWorks将Hadoop数据同步至Elasticsearch 存储产品迁移 从Solr集群迁移文档...

数据使用诊断

DataWorks的数据使用诊断,为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力,以及诊断相关安全问题的最佳实践及解决方案,帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...

EMR集群JindoSDK升级流程(旧版控制台)

准备软件包和升级脚本 登录EMR集群的Master节点,并将下载的patch包放在Hadoop用户的HOME目录下,将patch包解压缩后,使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...

异构数据源访问

测试数据集内容如下:1,test1,1,100 2,test2,2,90 操作步骤 在 异构数据源访问 页签,单击 新增数据源 的下拉菜单,选择 Hadoop数据源。在 新增Hadoop数据源页面 页面依次配置 网络&安全组、配置文件、初始化。配置 网络&安全组。参数 说明...

全景视角

阿里云DataWorks为您提供数据生产、数据使用数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角,高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量,DataWorks为您提供以下视角:数据管理视角...

配置OSS/OSS-HDFS Credential Provider

使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...

配置OSS/OSS-HDFS Credential Provider

使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...

数据迁移

迁移其它业务平台的业务数据至MaxCompute:迁移Hadoop数据至MaxCompute,详情请参见 迁移Hadoop数据至MaxCompute最佳实践(视频)。数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 云原生大数据计算服务 MaxCompute 数据库备份 云数据库 RDS 开源大数据平台 E-MapReduce 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用