本文介绍如何上传文件。
OSS Ruby SDK提供了丰富的文件上传接口,用户可以通过以下方式向OSS中上传 文件:
- 上传本地文件到OSS
- 流式上传
- 断点续传上传
- 追加上传
- 上传回调
上传本地文件
通过Bucket#put_object
接口,并指定:file
参数来上传一个本地文件到OSS:
require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
endpoint: 'endpoint',
access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
bucket.put_object('my-object', :file => 'local-file')
流式上传
在进行大文件上传时,往往不希望一次性处理全部的内容然后上传,而是希望流 式地处理,一次上传一部分内容。甚至如果要上传的内容本身就来自网络,不能一次 获取,那只能流式地上传。通过Bucket#put_object
接口,并指定block
参数 来将流式生成的内容上传到OSS:
require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
endpoint: 'endpoint',
access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
bucket.put_object('my-object') do |stream|
100.times { |i| stream << i.to_s }
end
断点续传上传
当上传大文件时,如果网络不稳定或者程序崩溃了,则整个上传就失败了。用户 不得不重头再来,这样做不仅浪费资源,在网络不稳定的情况下,往往重试多次 还是无法完成上传。 通过Bucket#resumable_upload
接口来实现断点续传上传。它有以下参数:
- key 上传到OSS的Object名字
- file 待上传的本地文件路径
- opts 可选项,主要包括:
- :cpt_file 指定checkpoint文件的路径,如果不指定则默认为与本地文件同 目录下的
file.cpt
,其中file
是本地文件的名字 - :disable_cpt 如果指定为true,则上传过程中不会记录上传进度,失败后 也无法进行续传
- :part_size 指定每个分片的大小,默认为4MB
- &block 如果调用时候传递了block,则上传进度会交由block处理
- :cpt_file 指定checkpoint文件的路径,如果不指定则默认为与本地文件同 目录下的
详细的参数请参考API文档。
其实现的原理是将要上传的文件分成若干个分片分别上传,最后所有分片都上传 成功后,完成整个文件的上传。在上传的过程中会记录当前上传的进度信息(记 录在checkpoint文件中),如果上传过程中某一分片上传失败,再次上传时会从 checkpoint文件中记录的点继续上传。这要求再次调用时要指定与上次相同的 checkpoint文件。上传完成后,checkpoint文件会被删除。
require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
endpoint: 'endpoint',
access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
bucket.resumable_upload('my-object', 'local-file') do |p|
puts "Progress: #{p}"
end
bucket.resumable_upload(
'my-object', 'local-file',
:part_size => 100 * 1024, :cpt_file => '/tmp/x.cpt') { |p|
puts "Progress: #{p}"
}
- SDK会将上传的中间状态信息记录在cpt文件中,所以要确保用户对cpt文件有写权限。
- cpt文件记录了上传的中间状态信息并自带了校验,用户不能去编辑它,如果cpt文件损坏则上传无法继续。整个上传完成后cpt文件会被删除。
- 如果上传过程中本地文件发生了改变,则上传会失败。
追加上传
OSS支持可追加的文件类型,通过Bucket#append_object
来上传可追加的文件, 调用时需要指定文件追加的位置,对于新创建文件,这个位置是0;对于已经存 在的文件,这个位置必须是追加前文件的长度。
- 文件不存在时,调用
append_object
会创建一个可追加的文件 - 文件存在时,调用
append_object
会向文件末尾追加内容
require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
endpoint: 'endpoint',
access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
# 创建可追加的文件
bucket.append_object('my-object', 0) {}
# 向文件末尾追加内容
next_pos = bucket.append_object('my-object', 0) do |stream|
100.times { |i| stream << i.to_s }
end
next_pos = bucket.append_object('my-object', next_pos, :file => 'local-file-1')
next_pos = bucket.append_object('my-object', next_pos, :file => 'local-file-2')
- 只能向可追加的文件(即通过
append_object
创建的文件)追加内容。 - 可追加的文件不能被拷贝。
上传回调
用户在上传文件时可以指定“上传回调”,这样在文件上传成功后OSS会向用户提 供的服务器地址发起一个HTTP POST请求,相当于一个通知机制。用户可以在收 到回调的时候做相应的动作。更多有关上传回调的内容请参考 OSS 上传回调。
目前OSS支持上传回调的接口只有put_object
和resumable_upload
。
require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
endpoint: 'endpoint',
access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
callback = Aliyun::OSS::Callback.new(
url: 'http://10.101.168.94:1234/callback',
query: {user: 'put_object'},
body: 'bucket=${bucket}&object=${object}'
)
begin
bucket.put_object('files/hello', file: '/tmp/x', callback: callback)
rescue Aliyun::OSS::CallbackError => e
puts "Callback failed: #{e.message}"
end
上面的例子使用put_object
上传了一个文件,并指定了上传回调并将此次上传 的bucket和object信息添加在body中,应用服务器收到这个回调后,就知道这个 文件已经成功上传到OSS了。
resumable_upload
的使用方法类似:
require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
endpoint: 'endpoint',
access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
callback = Aliyun::OSS::Callback.new(
url: 'http://10.101.168.94:1234/callback',
query: {user: 'put_object'},
body: 'bucket=${bucket}&object=${object}'
)
begin
bucket.resumable_upload('files/hello', '/tmp/x', callback: callback)
rescue Aliyun::OSS::CallbackError => e
puts "Callback failed: #{e.message}"
end
- callback的URL不能包含query string,而应该在
:query
参数中指定。 - 可能出现文件上传成功,但是执行回调失败的情况,此时client会抛出
CallbackError
,用户如果要忽略此错误,需要显式接住这个异常。 - 详细的例子请参考callback.rb。
- 接受回调的server请参考callback_server.rb。
在文档使用中是否遇到以下问题
更多建议
匿名提交