全部产品
E-MapReduce

参数说明

更新时间:2017-06-07 13:26:11   分享:   

Hadoop 代码中可使用如下参数配置:

属性名 默认值 说明
fs.oss.accessKeyId 访问 OSS 所需的 Access Key ID(可选)
fs.oss.accessKeySecret 访问 OSS 所需的 Access Key Secret(可选)
fs.oss.securityToken 访问 OSS 所需的 STS token(可选)
fs.oss.endpoint 访问 OSS 的 endpoint(可选)
fs.oss.multipart.thread.number 5 并发进行 OSS 的 upload part copy 的并发度
fs.oss.copy.simple.max.byte 134217728 使用普通接口进行 OSS 内部 copy 的文件大小上限
fs.oss.multipart.split.max.byte 67108864 使用普通接口进行 OSS 内部 copy 的文件分片大小上限
fs.oss.multipart.split.number 5 使用普通接口进行 OSS 内部 copy 的文件分片数目,默认和拷贝并发数目保持一致
fs.oss.impl com.aliyun.fs.oss.nat.NativeOssFileSystem OSS 文件系统实现类
fs.oss.buffer.dirs /mnt/disk1,/mnt/disk2,… OSS 本地临时文件目录,默认使用集群的数据盘
fs.oss.buffer.dirs.exists false 是否确保 OSS 临时目录已经存在
fs.oss.client.connection.timeout 50000 OSS Client 端的连接超时时间(单位毫秒)
fs.oss.client.socket.timeout 50000 OSS Client 端的 socket 超时时间(单位毫秒)
fs.oss.client.connection.ttl -1 连接存活时间
fs.oss.connection.max 1024 最大连接数目
io.compression.codec.snappy.native false 标识 Snappy 文件是否为标准 Snappy 文件,Hadoop 默认识别的是 Hadoop 修改过的 Snappy 格式文件
本文导读目录
本文导读目录
以上内容是否对您有帮助?