JindoFS块存储模式对文件数据管理提供了高级策略,以满足不同情形下的存储需求,主要包括存储策略(Storage Policy)和压缩策略(Compression Policy)。本文详细介绍相关策略及其使用方式。
使用限制
存储策略和压缩策略都是针对目录设置的,仅对目录下新写入的文件有效。如果是设置策略之前已存在的文件或者使用rename和mv命令移动来的文件,更新压缩策略时需要重新写入,更新存储策略需要执行分层存储命令进行归档,详情请参见分层存储命令使用说明。
存储策略
JindoFS提供了Storage Policy功能,提供更加灵活的存储策略以适应不同的存储需求。支持设置以下五种存储策略。
策略名称 | 策略说明 |
---|---|
AR | 数据仅在OSS上有一个备份,并且使用OSS归档存储(Archive)类型存储。 |
IA | 数据仅在OSS上有一个备份,并且使用OSS低频访问(Infrequent Access)类型存储。 |
COLD | 数据仅在OSS上有一个备份,并且使用OSS标准存储(Standard)类型存储。 |
WARM | 数据在OSS和本地分别有一个备份, 本地备份能够有效的提供后续的读取加速。
默认策略。 |
HOT | 数据在OSS和本地分别有一个备份,并且本地备份强制锁定,不受自动缓存清理影响,针对一些最热的数据提供更加高优先级的加速效果。 |
OSS存储类型的详细介绍,请参见存储类型介绍。
示例,新增的文件将会以父目录所指定的Storage Policy进行存储。
- 您可以通过以下命令,设置存储类型。
jindo jfs -setStoragePolicy [-R] <StoragePolicy>(AR/IA/COLD/WARM/HOT) <path> ...
其中,涉及参数如下:[-R]
:递归设置该路径下的所有路径。<path>
:设置Storage Policy的路径名称。
- 您通过以下命令,获取某个目录的存储策略。
jindo jfs -getStoragePolicy <path>
压缩策略
JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。
策略名称 | 策略说明 |
NONE | 不对数据块进行压缩。
默认策略。 |
ZSTD | 对数据块使用ZSTD(Zstandard)压缩算法。 |
示例,新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。
- 您可以通过以下命令,设置压缩类型。
jindo jfs -setCompressionPolicy [-R] <CompressionPolicy>(NONE/ZSTD) <path> ...
其中,涉及参数如下:[-R]
:递归设置该路径下的所有路径。<path>
:设置Compression Policy的路径名称。
- 您通过以下命令,获取某个目录的压缩策略。
jindo jfs -getCompressionPolicy <path> ...