安全建议 阿里云安全发现该漏洞后及时向Apache、Hadoop做了邮件沟通,并得到了官方认可和相关处理建议,邮件中提及存储和计算节点在提交任务时最好通过Kerberos进行认证以保证其安全性。依据官方建议开启Kerberos认证,配置后的...
背景介绍 在某些场景下面,我们需要从自建的Hadoop中存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通文件引擎,详情请参见 开通指南。修改Hadoop 配置信息,详情请参见 ...
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式,支持行式存储和列式存储,支持非易失存储、固态硬盘、机械硬盘等多种存储介质,支持单节点最大10TB存储空间。在此基础之上,AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法,请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目(非External...
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用,面向Hadoop或Spark生态的OSS客户端,为阿里云OSS提供高度优化的HadoopFileSystem...
Hadoop YARN也会使用所有的数据盘作为计算的临时存储。OSS 在E-MapReduce集群中,您可以将OSS作为HDFS使用。E-MapReduce可以方便的读写OSS上的数据,所有使用HDFS的代码经过简单的修改即可以访问OSS的数据。例如:读取HDFS中的数据。sc....
背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库(例如,MySQL)中,并...
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至Impala,您需要先完成Impala数据源的创建。更多Impala信息,请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至Impala,您需要先完成Impala数据源的创建。更多Impala信息,请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
根据业务需求,您可以对CPFS存储卷做以下操作:业务需求 参考链接 存储应用数据 CPFS2.0静态卷 使用限制 Flexvolume暂不支持CPFS2.0存储卷。关于CPFS的更多使用限制,请参见 使用限制。计费说明 关于CPFS的计费项、计费方式及相关价格,请...
适用场景 根据业务需求,您可以对NAS存储卷做以下操作:业务需求 参考链接 使用CNFS托管NAS文件系统(推荐)使用CNFS全面托管NAS文件系统生命周期,实现对NAS上数据的安全、共享、加速访问快速操作。CNFS分布式缓存利用并行多链接、计算端...
步骤二:创建数据表多元索引 表格存储自动做全量、增量的索引数据同步。您可以通过控制台、命令行工具或SDK方式创建和管理多元索引。具体操作,请参见 通过控制台使用多元索引、通过命令行工具使用多元索引 或 通过SDK使用多元索引。步骤三...
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件存储 HDFS 版文件系统。步骤二:配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...
Presto使用maven-shade-plugin插件打包,对引入的Hadoop依赖进行了重命名,文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包,Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时,文件存储 HDFS 版 获取不到Presto重...
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK,且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端,建议您使用...
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
说明 使用 hadoop distcp 命令将原集群数据迁移至 文件存储 HDFS 版 时,请注意 文件存储 HDFS 版 不支持以下参数,其它参数使用和 Hadoop DistCp工具官方说明文档 一致。文件存储 HDFS 版 及命令行存在限制的更多信息,请参见 使用限制。...
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
例如:执行 hadoop 命令或者任务出现如下错误时,表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中,该类所属的Jar包为 hadoop-common-x.x.x.jar,需要您下载该Jar包的正确版本,并将其置于所有Hadoop环境下的...
测试环境 配置名称 配置说明 计算VM配置 CPU核数:4核 内存:16 GB 机器数量:6台 网络带宽:1.5 Gbps 文件存储 HDFS 版 配置 实例大小:10 TB 吞吐限速:1000 MB/s 软件配置 Apache Hadoop:Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...
步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件系统。步骤二:安装Sqoop 目前Sqoop分为Sqoop1和Sqoop2两个版本,且两个版本并不兼容。本文以Sqoop1的稳定版本Sqoop 1...
使用Hadoop提供的命令,存储AccessKey和SecurityToken信息至Credential文件中。命令格式如下。hadoop credential[options]例如,使用全局配置方式,存储AccessKey和Token信息至JECKS文件中,除了使用文件权限保护该文件外,您也可以指定...
使用Hadoop提供的命令,存储AccessKey和SecurityToken信息至Credential文件中。命令格式如下。hadoop credential[options]例如,使用全局配置方式,存储AccessKey和Token信息至JECKS文件中,除了使用文件权限保护该文件外,您也可以指定...
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下,其中${HADOOP_HOME}为测试机器中的Hadoop安装目录,jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar,您可通过执行以下命令,查看...
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中,对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
dir)hadoop fs-mkdir-p$STAGING_DIR hadoop fs-chmod 777$STAGING_DIR hadoop fs-chown hadoop:hadoop$STAGING_DIR hadoop fs-mkdir-p$STAGING_DIR/history hadoop fs-chmod 775$STAGING_DIR/history hadoop fs-chown hadoop:hadoop$...
使用Hive/HadoopMR来访问表格存储中的表前,您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包,可以直接使用Hive...
Hadoop DistCp(分布式复制)是一个用于大型集群间或集群内数据复制的工具,通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
Hadoop回收站是Hadoop文件系统的重要功能,可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能,可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能,可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开...
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析,提供了一个既能处理结构化、半结构化数据,又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体,以及管理湖...