hdfs 存储方式-hdfs 存储方式文档介绍内容-阿里云

HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储

HBase以EMR集群的<em>方式</em>使用OSS-<em>HDFS</em>服务作为底层<em>存储</em>

阿里云开源大数据开发平台E-MapReduce（简称EMR）支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。前提条件已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群，并在创建集群时选择Hbase。具体...

安装文件系统SDK

本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见创建文件系统 和添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息本文以hadoop...

计费常见问题

本文列举 文件存储 HDFS 版的计费常见问题。计费开通文件存储 HDFS 版服务后，就开始计费吗？文件存储 HDFS 版服务如何停止计费？删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费...

开通文件存储 HDFS 版服务

本文介绍如何开通 文件存储 HDFS 版服务。前提条件已注册阿里云账号并完成实名认证。详情请参见注册阿里云账号和个人实名认证。操作步骤登录阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...

功能特性

无缝集成 文件存储 HDFS 版允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版支持的原生文件系统语义被开发人员...

应用场景

而文件存储 HDFS 版能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地，因此在该场景下推荐使用 文件存储 HDFS 版存储数据。将数据存入文件存储 HDFS 版，ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...

目录和文件访问权限

文件存储 HDFS 版为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...

在文件存储 HDFS 版上使用TensorFlow

本文介绍如何在 文件存储 HDFS 版上使用TensorFlow。前提条件已开通 文件存储 HDFS 版服务并。具体操作，请参见开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见快速入门。已为Hadoop集群...

概览

本文介绍阿里云 文件存储 HDFS 版提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...

卸载并释放CDH6 HDFS服务使用的云盘

已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见配置CDH6使用文件存储HDFS版。背景信息当CDH已经成功运行在阿里云 文件存储 HDFS 版上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...

使用Fuse-DFS挂载文件存储 HDFS 版

本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版在本地文件系统的映射。前提条件已创建文件系统 和添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

卸载并释放E-MapReduce HDFS使用的云盘

重要从数据安全性考虑，数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘，通常是/mnt/disk1上...

创建文件系统实例后，为什么无法访问文件存储 HDFS 版...

本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...

在文件存储 HDFS 版上使用Apache HBase

前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署Apache HBase分布式集群，且版本必须与Hadoop版本兼容。具体...

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...

创建文件系统

文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件已开通 文件存储HDFS版 服务。具体操作，请参见开通文件存储HDFS版服务。操作步骤登录 文件存储HDFS版控制台。在顶部菜单栏...

删除文件系统

您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件已删除该文件系统下添加的挂载点。具体操作，请参见删除挂载点。操作步骤登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在文件...

CDH6数据迁移

步骤一：为 文件存储 HDFS 版添加用户和组映射迁移数据前，您需要在 文件存储 HDFS 版 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 版实例访问控制的详细信息，请参见访问控制。获取原CDH集群...

在文件存储 HDFS 版上使用Presto

前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop...

文件存储 HDFS 版支持Python SDK吗？

文件存储 HDFS 版提供两种SDK，分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK，文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言，请参见 OpenAPI。

文件存储 HDFS 版和对象存储OSS双向数据迁移

文件存储 HDFS 版允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...

账单查询

您可以通过阿里云管理控制台查看 文件存储 HDFS 版的费用账单。查看文件系统费用账单登录用户中心。在左侧导航栏，单击账单管理>账单详情。在明细账单页签中，设置查询账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...

常见问题排查

本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...

基本概念

本文介绍了 文件存储 HDFS 版使用的一些基本概念。术语描述 文件系统实例一个拥有全局命名空间，可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点挂载点是文件系统实例在专有网络或经典网络内的一个访问...

在文件存储 HDFS 版上使用Apache Spark

前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...

文件存储 HDFS 版（Apsara File Storage for HDFS）...

文件存储 HDFS 版（Apsara File Storage for HDFS）审计日志样例以下示例表示，在北京时间2023年03月23日14:41:28，阿里云账号 137918634953*调用CreateFileSystem接口创建了 文件存储 HDFS 版（Apsara File Storage for HDFS）文件系统 ...

在文件存储 HDFS 版上使用Apache Flink

前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...

管理挂载点

本文介绍如何在 文件存储 HDFS 版控制台上管理挂载点，包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件已创建文件系统。具体操作，请参见创建文件系统。挂载点说明一个阿里云账号最多...

修改文件系统

本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件已创建文件系统。具体操作，请参见创建文件系统。操作步骤登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...

ListUserGroupsMappings-查看用户和组的映射关系

查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...

API概览

本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

公测期间使用文件系统有哪些限制？

文件存储 HDFS 版在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万单个文件系统最多包含挂载点数量：2 单个用户可以创建...

CreateUserGroupsMapping-创建用户和组的映射关系

创建文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...

GetFileSystem-获取文件系统详细信息

HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...

性能优化最佳实践

alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...

阿里云OSS/OSS-HDFS服务透明缓存加速

JindoFSx存储加速系统提供了透明缓存的使用方式，兼容原生OSS/OSS-HDFS存储方式，文件以对象的形式存储在OSS/OSS-HDFS上，每个文件根据实际访问情况会在本地进行缓存，提升访问OSS/OSS-HDFS的效率，同时兼容了原有OSS/OSS-HDFS文件形式，...

使用RAM授权访问文件存储 HDFS 版

授予RAM用户对 文件存储 HDFS 版管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限说明为 文件存储 HDFS 版 文件系统实例ID，...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务登录阿里云E-MapReduce控制台。在集群管理页面，...

使用限制

本文主要介绍 文件存储 HDFS 版的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制限制项限制说明每个账号在单个地域内可创建的文件系统数量 3个单个文件系统可创建的挂载点数量 2个单个文件系统同一时刻可...

hdfs 存储方式

新品推荐