什么是文件存储 HDFS

产品概述 文件存储 HDFS 允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...

计费常见问题

本地数据迁移至 文件存储 HDFS 本地数据迁移至 文件存储 HDFS 时,需要配置ECS作为中转节点从公网访问阿里云 文件存储 HDFS 。弹性公网IP对入方向流量不收费,仅对出方向流量收费。即从公网上传数据文件存储 HDFS 不会收取...

文件存储 HDFS 和对象存储OSS双向数据迁移

您可以将 文件存储 HDFS 数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群...

迁移开源HDFS的数据文件存储 HDFS

文件存储 HDFS 可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。...

功能特性

无缝集成 文件存储 HDFS 允许您就像在Hadoop分布式文件系统(HDFS)中一样管理和访问数据文件存储 HDFS SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云Flink。文件存储 HDFS 支持的原生文件系统语义被开发人员...

应用场景

文件存储 HDFS 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中,应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 能够提供高吞吐量和低延迟的访问能力...

CDH6数据迁移

步骤一:为 文件存储 HDFS 添加用户和组映射 迁移数据前,您需要在 文件存储 HDFS 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 实例访问控制的详细信息,请参见 访问控制。获取原CDH集群...

开通文件存储 HDFS 服务

本文介绍如何开通 文件存储 HDFS 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 申请公测页面。在申请公测页面,填写必要信息后单击 ...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

文件存储HDFS版

您可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...

文件存储 HDFS 上使用Presto

Presto使用maven-shade-plugin插件打包,对引入的Hadoop依赖进行了重命名,文件存储 HDFS Java SDK和Hadoop共用了protobuf-xxx.jar包,Presto通过Hive Metastore读取 文件存储 HDFS 上的数据时,文件存储 HDFS 获取不到Presto重...

使用Fuse-DFS挂载文件存储 HDFS

本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...

概览

本文介绍阿里云 文件存储 HDFS 提供的文件系统SDK和管控系统SDK。目前,公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,对外输出为一个...

创建文件系统实例后,为什么无法访问文件存储 HDFS ...

本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 的排查方法。您可以请根据以下几种情况进行排查:确认访问 文件存储 HDFS 服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...

欠费说明

本文介绍 文件存储 HDFS ...重要 数据清理之前仍会继续计费,如果您确认不再使用 文件存储 HDFS 存储服务,请务必删除 文件存储 HDFS 上的数据。无法找回 查看欠费金额 登录 用户中心。在 首页 页面的 待办提醒 区域,查看欠费金额。

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...

文件存储 HDFS 上使用TensorFlow

本文介绍如何在 文件存储 HDFS 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 服务并。具体操作,请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作,请参见 快速入门。已为Hadoop集群...

快速入门

文件存储 HDFS 兼容了标准的HadoopFS协议接口,使您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储,使用 文件存储 HDFS 服务可以大量节约...

计费项

本文为您介绍 文件存储 HDFS 服务的计费说明。产品定价 关于 文件存储 HDFS 的计费定价,请参见 文件存储 HDFS 产品定价。计费周期 文件存储 HDFS 每小时统计前一小时的实际用量并进行结算,从账户余额中扣除实际消费金额。例如...

创建文件系统

文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前,您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...

文件存储 HDFS 和数据库MySQL双向数据迁移

前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有...

文件存储 HDFS 支持Python SDK吗?

文件存储 HDFS 提供两种SDK,分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK,文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言,请参见 OpenAPI。

常见问题排查

本文介绍使用 文件存储 HDFS 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败,提示 java.lang.ClassNotFoundException:Class ...

文件存储 HDFS (Apsara File Storage for HDFS)...

阿里云 文件存储 HDFS (Apsara File Storage for HDFS)已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中,满足实时审计、问题回溯...

账单查询

您可以通过阿里云管理控制台查看 文件存储 HDFS 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏,单击 账单管理>账单详情。在 明细账单 页签中,设置查询 账期,并在列表中筛选产品为 文件存储 HDFS 。您还可以通过 ...

配置CDH6使用文件存储 HDFS

数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS Java SDK复制到Cloudera Management服务的...

目录和文件访问权限

文件存储 HDFS 为目录和文件提供了一种访问权限,该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 文件系统中的每一个文件或者目录会关联到三个权限...

管理挂载点

本文介绍如何在 文件存储 HDFS 控制台上管理挂载点,包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件 已创建文件系统。具体操作,请参见 创建文件系统。挂载点说明 一个阿里云账号最多...

存储空间占用情况

OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据,这些数据均存储于Bucket中的.dlsdata/路径下,并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...

DeleteUserGroupsMapping-删除用户和组的映射关系

删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息,请参见文件...

API概览

本产品(文件存储 HDFS /2018-06-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

配置E-MapReduce服务使用文件存储 HDFS

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

公测期间使用文件系统有哪些限制?

文件存储 HDFS 在公测期间会对单个文件系统的使用进行一定的限制,包括:单个用户可以创建的文件系统数量:1 单个文件系统最大容量:10 TB 单个文件系统目录+文件数最大数量:10万 单个文件系统最多包含挂载点数量:2 单个用户可以创建...

CreateUserGroupsMapping-创建用户和组的映射关系

创建文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...

集群吞吐性能测试

测试集群吞吐性能所使用的TestDFSIO是一个分布式任务,存在任务调度及结果汇总阶段,计算集群吞吐均值时会略低于 文件存储 HDFS 吞吐限速。在进行顺序读与随机读的测试之前需要确保 文件存储 HDFS 之上已有指定的待测数据,如果没有...

文件存储 HDFS 上使用Apache Spark

前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2,...

数据治理

EMR集群类型 元数据存储类型 数据存储类型:OSS 数据存储类型:OSS-HDFS 数据存储类型:HDFS 新版数据湖集群(DataLake)数据湖构建(DLF)RDS实例 MySQL 自定义集群(Custom)数据湖构建(DLF)RDS实例 MySQL 其他集群-数据保护伞为什么有...

文件存储 HDFS 上使用Apache Flink

前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2,...

使用RAM授权访问文件存储 HDFS

授予RAM用户对 文件存储 HDFS 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二:授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 文件系统实例ID,...

用户和组映射

如果您是初次使用 文件存储 HDFS 文件系统,可使用该API创建组并关联用户。DeleteUserGroupsMapping:删除用户和组的映射关系。ListUserGroupsMappings:查看用户和组的映射关系。使用限制 用户名和组名命名规则:必须以字母或者下划线...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 文件存储HDFS版 对象存储 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用