本文介绍挂载及卸载文件存储HDFS版文件系统的操作。
挂载说明
如果挂载点网络类型是专有网络,则只支持与挂载点同一VPC网络的ECS实例挂载文件系统,且挂载点所绑定的权限组中授权地址必须包含ECS实例的VPC IP地址。
挂载文件系统
- 连接ECS实例。连接方式,请参见连接ECS实例。
- 配置core-site.xml。
- 执行如下命令打开core-site.xml文件。
vim /usr/local/hadoop-x.y.z/etc/hadoop/core-site.xml
其中,x.y.z
为Hadoop版本号,请根据实际替换。
- 在core-site.xml文件中,配置如下信息。
<property>
<name>fs.defaultFS</name>
<value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value>
</property>
<property>
<name>fs.dfs.impl</name>
<value>com.alibaba.dfs.DistributedFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.dfs.impl</name>
<value>com.alibaba.dfs.DFS</value>
</property>
其中,f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com
为文件存储HDFS版挂载点地址,请根据实际情况替换。
注意 如果fs.defaultFS属性的<value>值中包含hdfs://
,请将其相应替换为dfs://
。
- 可选:调整core-site.xml配置,优化集群性能(例如,io.file.buffer.size和dfs.connection.count等),示例如下。更多有关文件存储HDFS版性能优化方法,请参见性能优化最佳实践。
<property>
<name>io.file.buffer.size</name>
<value>4194304</value>
<description>To achieve high throughput, no less than 1MB, no more than 8MB</description>
</property>
<property>
<name>dfs.connection.count</name>
<value>1</value>
<description>If multi threads in the same process will read/write to DFS, set to count of threads</description>
</property>
- 将core-site.xml文件同步到所有依赖hadoop-common的节点上。
- 部署文件存储HDFS版Java SDK。
- 下载最新的文件存储HDFS版Java SDK。
- 将下载的文件存储HDFS版Java SDK部署到Hadoop生态系统组件的CLASSPATH路径下(推荐部署在hadoop-common-x.y.x.jar目录中)。
- 执行以下命令,验证挂载结果。
- 执行命令
/usr/local/hadoop-2.7.2/bin/hadoop fs -df
- 返回示例
如果返回如下类似信息,则表示挂载HDFS文件系统成功。
Filesystem Size Used Available Use%
dfs://f-e389e5c7e****.cn-hangzhou.dfs.aliyuncs.com:10290 10995116277760 0 10995116277760 0%
22/09/20 14:19:04 INFO dfs.DistributedFileSystem: FileSystem close com.alibaba.dfs.DistributedFileSystem@51ee79a3
22/09/20 14:19:04 INFO dfs.DfsClient: DfsClient close Client-6676663918471637276
22/09/20 14:19:04 INFO common.LeaseRenewer: close all files being written
22/09/20 14:19:04 INFO common.LeaseRenewer: LeaseRenwerForClient-6676663918471637276 closed
卸载文件系统
确认不再使用文件存储HDFS版文件系统后,您需要将core-site.xml文件中配置的挂载点地址修改为目标存储介质,同时也可以删除部署到Hadoop生态系统组件的CLASSPATH路径下的文件存储HDFS版Java
SDK。
如果您想释放文件存储HDFS版文件系统实例,具体操作,请参见删除文件系统。
注意 释放文件系统实例,其中的数据会被删除且不可恢复,请务必谨慎操作。