具体操作,请参见 文件存储HDFS版快速入门。基于阿里云ECS搭建Hadoop集群(下称"迁移集群"),用于访问 文件存储 HDFS 版 实例和迁移数据,并满足以下条件:迁移集群与 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群与 文件存储 ...
具体操作,请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。具体操作,请参见 CDH官方文档。本文档中使用的CDH版本为 6.3.2。背景信息 CDH(Cloudera's Distribution,including Apache Hadoop)是众多Hadoop发行...
本地数据迁移至 文件存储 HDFS 版 本地数据迁移至 文件存储 HDFS 版 时,需要配置ECS作为中转节点从公网访问阿里云 文件存储 HDFS 版。弹性公网IP对入方向流量不收费,仅对出方向流量收费。即从公网上传数据到 文件存储 HDFS 版 不会收取...
具体操作,请参见 文件存储HDFS版快速入门。配置挂载点时选择的专有网络和交换机要与E-MapReduce集群侧的配置保持一致。您可以通过以下方法获取专有网络和交换机信息。登录 阿里云E-MapReduce控制台。在 集群管理 页面,找到需要挂载 文件...
具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已部署Apache HBase分布式集群,且版本必须与Hadoop版本兼容。具体操作,请参见 Apache HBase Reference Guide。本文使用Hadoop-2.10.1和...
具体操作,请参见 文件存储HDFS版快速入门。已安装JDK,且JDK版本不低于1.8。已安装 文件存储 HDFS 版 文件系统SDK。具体操作,请参见 安装文件系统SDK。背景信息 文件存储 HDFS 版 通过文件系统SDK提供对Hadoop FileSystem API的兼容。更...
文件存储 HDFS 版和对象存储OSS双向数据迁移 文件存储 HDFS 版和数据库MySQL双向数据迁移 迁移开源HDFS的数据到文件存储 HDFS 版 产品定价 文件存储 HDFS 版 计量项包括标准吞吐、预置吞吐,计费方式支持按量付费方式。详细的计费规则,请...
具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK,JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本...
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统(HDFS)中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK,JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间...
具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.7.2。已 下载Apache Spark压缩...
具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。更多信息,下载JDK。背景信息 Sqoop ...
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中,应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.7.2。已 下载Apache Flink压缩...
本文介绍 文件存储 HDFS 版 ...重要 数据清理之前仍会继续计费,如果您确认不再使用 文件存储 HDFS 版 存储服务,请务必删除 文件存储 HDFS 版 上的数据。无法找回 查看欠费金额 登录 用户中心。在 首页 页面的 待办提醒 区域,查看欠费金额。
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作,请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH ...
确认不再使用 文件存储 HDFS 版 文件系统后,您需要参考 挂载文件系统 中的内容,删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置,完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...
具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。更多信息,下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作,请参见 Tez安装。已根据Hadoop版本对Tez重新编译。本文使用的Apache ...
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前,公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,对外输出为一个...
重要 从数据安全性考虑,数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版 上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘,通常是/mnt/disk1上...
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作,请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在左侧导航栏,选择 文件系统。在 文件...
文件存储 HDFS 版 提供两种SDK,分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK,文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言,请参见 OpenAPI。
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前,您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查:确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价,请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算,从账户余额中扣除实际消费金额。例如...
本文介绍了 文件存储 HDFS 版 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间,可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...
阿里云 文件存储 HDFS 版(Apsara File Storage for HDFS)已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中,满足实时审计、问题回溯...
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏,单击 账单管理>账单详情。在 明细账单 页签中,设置查询 账期,并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
测试集群吞吐性能所使用的TestDFSIO是一个分布式任务,存在任务调度及结果汇总阶段,计算集群吞吐均值时会略低于 文件存储 HDFS 版 吞吐限速。在进行顺序读与随机读的测试之前需要确保 文件存储 HDFS 版 之上已有指定的待测数据,如果没有...
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败,提示 java.lang.ClassNotFoundException:Class ...
文件存储 HDFS 版 为目录和文件提供了一种访问权限,该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
本文介绍如何在 文件存储 HDFS 版 控制台上管理挂载点,包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件 已创建文件系统。具体操作,请参见 创建文件系统。挂载点说明 一个阿里云账号最多...
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作,请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在左侧导航栏,选择 ...
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK,且JDK版本不低于1.8。背景信息 本文以hadoop...
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口,使您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储,使用 文件存储 HDFS 版 服务可以大量节约...
本产品(文件存储 HDFS 版/2018-06-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息,请参见文件...
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...
您也可以使用 文件存储 HDFS 版 的多挂载功能实现单文件系统实例同地域的多VPC访问。属性 VPC1 VPC2 VPC3 网络实例的网段规划 VPC网段:192.168.0.0/16 交换机网段:192.168.0.0/24 VPC网段:10.0.0.0/16 交换机网段:10.0.0.0/24 VPC网段...