Python追加上传

更新时间:2025-03-28 10:03:08

追加上传是指在已上传的追加类型文件(Appendable Object)末尾直接追加内容。本文介绍如何使用OSS Python SDK进行追加上传。

注意事项

  • 本文示例代码以华东1(杭州)的地域IDcn-hangzhou为例,默认使用外网Endpoint,如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的RegionEndpoint的对应关系,请参见OSS地域和访问域名

  • 当文件不存在时,调用追加上传方法会创建一个追加类型文件。

  • 当文件已存在时:

    • 如果文件为追加类型文件,且设置的追加位置和文件当前长度相等,则直接在该文件末尾追加内容。

    • 如果文件为追加类型文件,但是设置的追加位置和文件当前长度不相等,则抛出PositionNotEqualToLength异常。

    • 如果文件为非追加类型文件,例如通过简单上传的文件类型为Normal的文件,则抛出ObjectNotAppendable异常。

权限说明

阿里云账号默认拥有全部权限。阿里云账号下的RAM用户或RAM角色默认没有任何权限,需要阿里云账号或账号管理员通过RAM PolicyBucket Policy授予操作权限。

API

Action

说明

API

Action

说明

AppendObject

oss:PutObject

以追加写的方式上传文件(Object)。

oss:PutObjectTagging

以追加写的方式上传文件(Object)时,如果通过x-oss-tagging指定Object的标签,则需要此操作的权限。

方法定义

针对文件追加上传的场景,Python SDK V2新增了AppendFile方法以模仿文件的读写行为,用于操作存储空间里的对象,以下列举了AppendFileAppendObject方法的具体说明:

方法名

说明

方法名

说明

AppendFile

AppendObject方法能力一致

优化了重传时失败后容错处理

AppendObject

追加上传, 最终文件最大支持5GiB

支持CRC64数据校验(默认启用)

支持进度条

高级版追加上传API:AppendFile

调用AppendFile方法以追加写的方式上传数据。如果对象不存在,则创建追加类型的对象。如果对象存在,并且不为追加类型的对象,则返回错误。

AppendFile方法定义如下。

append_file(bucket: str, key: str, request_payer: str | None = None, create_parameter: AppendObjectRequest | None = None, **kwargs) → AppendOnlyFile

请求参数列表

参数名

类型

说明

bucket

str

设置存储空间名

key

str

设置对象名

RequestPayer

str

启用了请求者付费模式时,需要设置为'requester'

CreateParameter

AppendObjectRequest

用于首次上传时,设置对象的元信息,包括ContentType,Metadata,权限,存储类型等,具体请参见AppendObjectRequest

返回值列表

类型

说明

AppendOnlyFile

追加文件的实例,具体请参见AppendOnlyFile

其中,AppendOnlyFile类包含的方法说明如下:

方法名

说明

Close()

关闭文件句柄,释放资源

write(b)

将字节数据写入到文件中,返回写入的字节数

write_from(b: str | bytes | Iterable[bytes] | IO[str] | IO[bytes])

将任意数据写入到文件中,返回写入的字节数

关于AppendFile方法的完整定义,请参见append_file

基础版追加上传API:AppendObject

append_object(request: AppendObjectRequest, **kwargs) → AppendObjectResult

请求参数列表

参数名

类型

说明

request

AppendObjectRequest

设置请求参数,具体请参见AppendObjectRequest

返回值列表

类型

说明

AppendObjectResult

返回值,具体请参见AppendObjectResult

关于AppendObject方法的完整定义,请参见append_object

示例代码

(推荐)使用AppendFile追加上传

import argparse
import alibabacloud_oss_v2 as oss

# 创建命令行参数解析器,并描述脚本用途:示例展示如何向OSS对象追加数据
parser = argparse.ArgumentParser(description="append file sample")

# 添加命令行参数 --region,表示存储空间所在的区域,必需参数
parser.add_argument('--region', help='The region in which the bucket is located.', required=True)
# 添加命令行参数 --bucket,表示要操作的存储空间名称,必需参数
parser.add_argument('--bucket', help='The name of the bucket.', required=True)
# 添加命令行参数 --endpoint,表示其他服务可用来访问OSS的域名,非必需参数
parser.add_argument('--endpoint', help='The domain names that other services can use to access OSS')
# 添加命令行参数 --key,表示对象(文件)在OSS中的键名,必需参数
parser.add_argument('--key', help='The name of the object.', required=True)

def main():
    # 解析命令行提供的参数,获取用户输入的值
    args = parser.parse_args()

    # 从环境变量中加载访问OSS所需的认证信息,用于身份验证
    credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()

    # 使用SDK的默认配置创建配置对象,并设置认证提供者
    cfg = oss.config.load_default()
    cfg.credentials_provider = credentials_provider
    cfg.region = args.region

    # 如果提供了自定义endpoint,则更新配置对象中的endpoint属性
    if args.endpoint is not None:
        cfg.endpoint = args.endpoint

    # 使用上述配置初始化OSS客户端,准备与OSS交互
    client = oss.Client(cfg)

    # 定义要追加的数据
    data1 = b'hello'
    data2 = b' world. '

    # 第一次追加数据
    with client.append_file(bucket=args.bucket, key=args.key) as f:
        append_f = f
        f.write(data1)
    # 打印第一次追加后的文件状态
    print(f'closed: {append_f.closed},'
          f' name: {append_f.name}'
    )

    # 第二次追加数据
    with client.append_file(bucket=args.bucket, key=args.key) as f:
        append_f = f
        f.write(data2)
    # 打印第二次追加后的文件状态
    print(f'closed: {append_f.closed},'
          f' name: {append_f.name}'
    )

    # 获取追加后的对象内容
    result = client.get_object(oss.GetObjectRequest(
        bucket=args.bucket,
        key=args.key,
    ))
    # 打印获取对象的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' content: {result.body.content.decode("utf-8")}'
    )

# 当此脚本被直接执行时,调用main函数开始处理逻辑
if __name__ == "__main__":
    main()  # 脚本入口点,控制程序流程从这里开始

使用AppendObject追加上传

import argparse
import alibabacloud_oss_v2 as oss

# 创建一个命令行参数解析器
parser = argparse.ArgumentParser(description="append object sample")

# 添加命令行参数
# --region: 指定OSS存储空间所在的区域
parser.add_argument('--region', help='The region in which the bucket is located.', required=True)
# --bucket: 指定要操作的存储空间名称
parser.add_argument('--bucket', help='The name of the bucket.', required=True)
# --endpoint: 可选参数,指定访问OSS服务的域名
parser.add_argument('--endpoint', help='The domain names that other services can use to access OSS')
# --key: 指定对象(文件)在OSS中的键名
parser.add_argument('--key', help='The name of the object.', required=True)

def main():
    # 解析命令行输入的参数
    args = parser.parse_args()

    # 从环境变量中加载OSS所需的认证信息
    credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()

    # 使用SDK提供的默认配置创建配置对象
    cfg = oss.config.load_default()

    # 设置认证信息提供者为之前创建的对象
    cfg.credentials_provider = credentials_provider

    # 根据用户输入设置OSS客户端使用的区域
    cfg.region = args.region

    # 如果用户提供了自定义的endpoint,则更新配置
    if args.endpoint is not None:
        cfg.endpoint = args.endpoint

    # 使用上述配置创建OSS客户端实例
    client = oss.Client(cfg)

    # 定义要追加的数据
    data1 = b'hello'
    data2 = b' world'

    # 第一次追加数据
    result = client.append_object(oss.AppendObjectRequest(
        bucket=args.bucket,  # 指定目标存储空间
        key=args.key,  # 指定对象的键名
        position=0,  # 追加的起始位置,初始为0
        body=data1,  # 要追加的数据
    ))

    # 打印第一次追加的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' version id: {result.version_id},'
          f' hash crc64: {result.hash_crc64},'
          f' next position: {result.next_position},'
          f' server side encryption: {result.server_side_encryption},'
          f' server side data encryption: {result.server_side_data_encryption},'
    )

    # 第二次追加数据
    result = client.append_object(oss.AppendObjectRequest(
        bucket=args.bucket,  # 指定目标存储空间
        key=args.key,  # 指定对象的键名
        position=result.next_position,  # 从上一次追加的下一个位置开始
        body=data2,  # 要追加的数据
    ))

    # 打印第二次追加的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' version id: {result.version_id},'
          f' hash crc64: {result.hash_crc64},'
          f' next position: {result.next_position},'
          f' server side encryption: {result.server_side_encryption},'
          f' server side data encryption: {result.server_side_data_encryption},'
    )

# 当此脚本被直接运行时,调用main函数
if __name__ == "__main__":
    main()

相关文档

  • 本页导读 (1)
  • 注意事项
  • 权限说明
  • 方法定义
  • 高级版追加上传API:AppendFile
  • 基础版追加上传API:AppendObject
  • 示例代码
  • (推荐)使用AppendFile追加上传
  • 使用AppendObject追加上传
  • 相关文档