cache文件存储HDFS与其他存储的区别-cache文件存储HDFS与其他存储的区别文档介绍内容-阿里云

计费常见问题

本文列举 文件存储 HDFS 版的计费常见问题。计费开通文件存储 HDFS 版服务后，就开始计费吗？文件存储 HDFS 版服务如何停止计费？删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费...

什么是文件存储 HDFS 版

产品概述 文件存储 HDFS 版允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...

欠费说明

本文介绍文件存储 HDFS 版 ...重要数据清理之前仍会继续计费，如果您确认不再使用 文件存储 HDFS 版存储服务，请务必删除文件存储 HDFS 版上的数据。无法找回查看欠费金额登录用户中心。在首页页面的待办提醒区域，查看欠费金额。

计费项

本文为您介绍 文件存储 HDFS 版服务的计费说明。产品定价关于 文件存储 HDFS 版的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...

账单查询

您可以通过阿里云管理控制台查看 文件存储 HDFS 版的费用账单。查看文件系统费用账单登录用户中心。在左侧导航栏，单击账单管理>账单详情。在明细账单页签中，设置查询账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...

在文件存储 HDFS 版上使用Apache Spark

本文主要介绍如何在挂载 文件存储 HDFS 版的Hadoop集群上安装及使用Apache Spark。前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...

概览

本文介绍阿里云 文件存储 HDFS 版提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...

在文件存储 HDFS 版上使用Apache Flink

本文介绍如何在挂载 文件存储 HDFS 版的Hadoop集群上安装及使用Apache Flink。前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...

DeleteUserGroupsMapping-删除用户和组的映射关系

接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见文件和目录权限。文件系统不允许删除用户和组，只能删除用户和...

性能监控

前提条件已创建 文件存储 HDFS 版 文件系统。具体操作，请参见创建文件系统。已开通云监控服务。您可以登录云监控产品详情页，根据页面提示开通服务。性能监控指标说明指标指标名称单位描述 read_iops 文件系统读请求频率次/秒该...

ListUserGroupsMappings-查看用户和组的映射关系

接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见目录和文件访问权限。单个文件系统存在用户和组数量的限制...

安装文件系统SDK

本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见创建文件系统 和添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息本文以hadoop...

文件存储 HDFS 版和数据库MySQL双向数据迁移

本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版和关系型数据库MySQL之间的双向数据迁移。前提条件已开通 文件存储 HDFS 版服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...

配置CDH6使用文件存储 HDFS 版

数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...

CreateUserGroupsMapping-创建用户和组的映射关系

接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见目录和文件访问权限。单个文件系统存在用户和组数量的限制...

GetFileSystem-获取文件系统详细信息

HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...

ModifyFileSystem-修改文件系统属性

接口说明在修改文件系统前，请先了解文件存储 HDFS 版的计费方式和 HDFS 产品定价。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前...

开通文件存储 HDFS 版服务

本文介绍如何开通 文件存储 HDFS 版服务。前提条件已注册阿里云账号并完成实名认证。详情请参见注册阿里云账号和个人实名认证。操作步骤登录阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...

文件存储 HDFS 版和对象存储OSS双向数据迁移

文件存储 HDFS 版允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...

CreateFileSystem-创建文件系统

接口说明在创建文件系统前，请先了解文件存储 HDFS 版的计费方式和 HDFS 产品定价。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息当前...

ListFileSystems-批量获取文件系统详细信息

HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...

目录和文件访问权限

文件存储 HDFS 版为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...

使用限制

本文主要介绍 文件存储 HDFS 版的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制限制项限制说明每个账号在单个地域内可创建的文件系统数量 3个单个文件系统可创建的挂载点数量 2个单个文件系统同一时刻可...

CDH6数据迁移

背景信息 CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，您可以使用 文件存储 HDFS 版替换CDH6原有的本地HDFS服务，通过CDH6和 文件存储 HDFS 版实现大数据计算在云上的存储与计算分离，应对...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务登录阿里云E-MapReduce控制台。在集群管理页面，...

应用场景

而文件存储 HDFS 版能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地，因此在该场景下推荐使用 文件存储 HDFS 版存储数据。将数据存入文件存储 HDFS 版，ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...

使用云企业网跨VPC访问文件存储 HDFS 版

以下内容为您展示如何测试ECS与文件存储HDFS版文件系统之间的连通性。登录VPC2的ECS实例。具体操作，请参见 ECS远程连接操作指南。验证ECS和 文件存储 HDFS 版之间的连通性。ping f-xxxxxx....

API概览

本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

功能特性

无缝集成 文件存储 HDFS 版允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版支持的原生文件系统语义被开发人员...

文件存储HDFS版

您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...

快速入门

文件存储 HDFS 版兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版服务可以大量节约...

卸载并释放CDH6 HDFS服务使用的云盘

已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见配置CDH6使用文件存储HDFS版。背景信息当CDH已经成功运行在阿里云 文件存储 HDFS 版上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...

集群吞吐性能测试

测试集群吞吐性能所使用的TestDFSIO是一个分布式任务，存在任务调度及结果汇总阶段，计算集群吞吐均值时会略低于 文件存储 HDFS 版吞吐限速。在进行顺序读与随机读的测试之前需要确保 文件存储 HDFS 版之上已有指定的待测数据，如果没有...

性能优化最佳实践

alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

删除文件系统

您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件已删除该文件系统下添加的挂载点。具体操作，请参见删除挂载点。操作步骤登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在文件...

卸载并释放E-MapReduce HDFS使用的云盘

重要从数据安全性考虑，数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘，通常是/mnt/disk1上...

CreateVscMountPoint-创建VSC挂载点

e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...

元数据性能测试

配置名称配置说明计算VM配置 CPU核数：4核内存：16 GB 机器数量：6台网络带宽：1.5 Gbps 文件存储 HDFS 版配置实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统自带的基准...

cache文件存储HDFS与其他存储的区别

新品推荐