本文介绍Hadoop代码中的参数。

Hadoop代码中可使用如下参数配置。

属性名 默认值 说明
fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID（可选）。
fs.jfs.cache.oss-accessKeySecret 无 访问OSS所需的AccessKey Secret（可选）。
fs.jfs.cache.oss-securityToken 无 访问OSS所需的STS token（可选）。
fs.jfs.cache.oss-endpoint 无 访问OSS的Endpoint（可选）。
fs.oss.copy.simple.max.byte 134217728 使用普通接口进行OSS内部拷贝文件的大小上限。
fs.oss.multipart.split.max.byte 67108864 使用普通接口进行OSS内部拷贝文件的分片大小上限。
fs.oss.impl
  • EMR-3.24.0及后续版本：com.aliyun.emr.fs.oss.JindoOssFileSystem
  • EMR-3.24.0之前版本：com.aliyun.fs.oss.nat.NativeOssFileSystem
 OSS文件系统实现类。
io.compression.codec.snappy.native false 标识Snappy文件是否为标准Snappy文件。Hadoop默认识别的是Hadoop修改过的Snappy格式文件。