Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露

安全建议 阿里云安全发现该漏洞后及时向Apache、Hadoop做了邮件沟通,并得到了官方认可和相关处理建议,邮件中提及存储和计算节点在提交任务时最好通过Kerberos进行认证以保证其安全性。依据官方建议开启Kerberos认证,配置后的...

从自建HDFS迁移数据

背景介绍 在某些场景下面,我们需要从自建的Hadoop存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通文件引擎,详情请参见 开通指南。修改Hadoop 配置信息,详情请参见 ...

成本

AnalyticDB PostgreSQL版 采用计算节点本地存储的模式,支持行式存储和列式存储,支持非易失存储、固态硬盘、机械硬盘等多种存储介质,支持单节点最大10TB存储空间。在此基础之上,AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...

Credential Provider使用说明

使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法,请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....

基于Hadoop集群支持Delta Lake或Hudi存储机制

涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目(非External...

配置OSS/OSS-HDFS Credential Provider

使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储Hadoop Credential Providers文件中。使用Hadoop...

配置OSS/OSS-HDFS Credential Provider

使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储Hadoop Credential Providers文件中。使用Hadoop...

JindoFS实战演示

OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用,面向Hadoop或Spark生态的OSS客户端,为阿里云OSS提供高度优化的HadoopFileSystem...

存储说明

Hadoop YARN也会使用所有的数据盘作为计算的临时存储。OSS 在E-MapReduce集群中,您可以将OSS作为HDFS使用。E-MapReduce可以方便的读写OSS上的数据,所有使用HDFS的代码经过简单的修改即可以访问OSS的数据。例如:读取HDFS中的数据。sc....

Hive连接器

背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库(例如,MySQL)中,并...

使用Fuse-DFS挂载文件存储 HDFS 版

vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...

创建Impala数据源

背景信息 Impala是用于处理存储Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至Impala,您需要先完成Impala数据源的创建。更多Impala信息,请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...

创建Impala数据源

背景信息 Impala是用于处理存储Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至Impala,您需要先完成Impala数据源的创建。更多Impala信息,请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...

CPFS存储卷概述

根据业务需求,您可以对CPFS存储以下操作:业务需求 参考链接 存储应用数据 CPFS2.0静态卷 使用限制 Flexvolume暂不支持CPFS2.0存储卷。关于CPFS的更多使用限制,请参见 使用限制。计费说明 关于CPFS的计费项、计费方式及相关价格,请...

NAS存储卷概述

适用场景 根据业务需求,您可以对NAS存储以下操作:业务需求 参考链接 使用CNFS托管NAS文件系统(推荐)使用CNFS全面托管NAS文件系统生命周期,实现对NAS上数据的安全、共享、加速访问快速操作。CNFS分布式缓存利用并行多链接、计算端...

搭建订单系统

步骤二:创建数据表多元索引 表格存储自动全量、增量的索引数据同步。您可以通过控制台、命令行工具或SDK方式创建和管理多元索引。具体操作,请参见 通过控制台使用多元索引、通过命令行工具使用多元索引 或 通过SDK使用多元索引。步骤三...

在文件存储 HDFS 版上使用Apache Tez

./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...

在文件存储 HDFS 版上使用Apache HBase

步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件存储 HDFS 版文件系统。步骤二:配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...

在文件存储 HDFS 版上使用Presto

Presto使用maven-shade-plugin插件打包,对引入的Hadoop依赖进行了重命名,文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包,Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时,文件存储 HDFS 版 获取不到Presto重...

挂载文件存储 HDFS 版文件系统

本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK,且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端,建议您使用...

在文件存储 HDFS 版上使用Apache Flink

export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...

在文件存储 HDFS 版上使用Apache Spark

export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...

迁移开源HDFS的数据到文件存储 HDFS 版

说明 使用 hadoop distcp 命令将原集群数据迁移至 文件存储 HDFS 版 时,请注意 文件存储 HDFS 版 不支持以下参数,其它参数使用和 Hadoop DistCp工具官方说明文档 一致。文件存储 HDFS 版 及命令行存在限制的更多信息,请参见 使用限制。...

安装文件系统SDK

WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...

常见问题排查

例如:执行 hadoop 命令或者任务出现如下错误时,表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中,该类所属的Jar包为 hadoop-common-x.x.x.jar,需要您下载该Jar包的正确版本,并将其置于所有Hadoop环境下的...

元数据性能测试

测试环境 配置名称 配置说明 计算VM配置 CPU核数:4核 内存:16 GB 机器数量:6台 网络带宽:1.5 Gbps 文件存储 HDFS 版 配置 实例大小:10 TB 吞吐限速:1000 MB/s 软件配置 Apache HadoopHadoop 2.7.6 测试工具 NNbench是Hadoop系统...

搭建Hadoop环境

Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...

文件存储 HDFS 版和数据库MySQL双向数据迁移

步骤一:Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作,请参见 挂载文件系统。步骤二:安装Sqoop 目前Sqoop分为Sqoop1和Sqoop2两个版本,且两个版本并不兼容。本文以Sqoop1的稳定版本Sqoop 1...

Credential Provider使用说明

使用Hadoop提供的命令,存储AccessKey和SecurityToken信息至Credential文件中。命令格式如下。hadoop credential[options]例如,使用全局配置方式,存储AccessKey和Token信息至JECKS文件中,除了使用文件权限保护该文件外,您也可以指定...

Credential Provider使用说明

使用Hadoop提供的命令,存储AccessKey和SecurityToken信息至Credential文件中。命令格式如下。hadoop credential[options]例如,使用全局配置方式,存储AccessKey和Token信息至JECKS文件中,除了使用文件权限保护该文件外,您也可以指定...

集群吞吐性能测试

TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下,其中${HADOOP_HOME}为测试机器中的Hadoop安装目录,jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar,您可通过执行以下命令,查看...

E-MapReduce数据迁移

cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中,对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...

集群存储根路径没有权限,导致集群服务启动失败的问题

dir)hadoop fs-mkdir-p$STAGING_DIR hadoop fs-chmod 777$STAGING_DIR hadoop fs-chown hadoop:hadoop$STAGING_DIR hadoop fs-mkdir-p$STAGING_DIR/history hadoop fs-chmod 775$STAGING_DIR/history hadoop fs-chown hadoop:hadoop$...

环境准备

使用Hive/HadoopMR来访问表格存储中的表前,您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包,可以直接使用Hive...

Hadoop DistCp介绍

Hadoop DistCp(分布式复制)是一个用于大型集群间或集群内数据复制的工具,通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...

管理Hadoop回收站

Hadoop回收站是Hadoop文件系统的重要功能,可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开...

管理Hadoop回收站

Hadoop回收站是Hadoop文件系统的重要功能,可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开...

管理Hadoop回收站

Hadoop回收站是Hadoop文件系统的重要功能,可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开...

搭建与管理(基于Hadoop

通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析,提供了一个既能处理结构化、半结构化数据,又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体,以及管理湖...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 对象存储 云存储网关 开源大数据平台 E-MapReduce 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用