使用Python SDK V2追加上传文件-对象存储-阿里云

追加上传是指在已上传的追加类型文件（Appendable Object）末尾直接追加内容。本文介绍如何使用OSS Python SDK进行追加上传。

注意事项

本文示例代码以华东1（杭州）的地域IDcn-hangzhou为例，默认使用外网Endpoint，如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请参见OSS地域和访问域名。
当文件不存在时，调用追加上传方法会创建一个追加类型文件。
当文件已存在时：
- 如果文件为追加类型文件，且设置的追加位置和文件当前长度相等，则直接在该文件末尾追加内容。
- 如果文件为追加类型文件，但是设置的追加位置和文件当前长度不相等，则抛出PositionNotEqualToLength异常。
- 如果文件为非追加类型文件，例如通过简单上传的文件类型为Normal的文件，则抛出ObjectNotAppendable异常。

权限说明

阿里云账号默认拥有全部权限。阿里云账号下的RAM用户或RAM角色默认没有任何权限，需要阿里云账号或账号管理员通过RAM Policy或Bucket Policy授予操作权限。

API

Action

说明

AppendObject

oss:PutObject

以追加写的方式上传文件（Object）。

oss:PutObjectTagging

以追加写的方式上传文件（Object）时，如果通过x-oss-tagging指定Object的标签，则需要此操作的权限。

方法定义

针对文件追加上传的场景，Python SDK V2新增了AppendFile方法以模仿文件的读写行为，用于操作存储空间里的对象，以下列举了AppendFile与AppendObject方法的具体说明：

方法名

说明

AppendFile

与AppendObject方法能力一致

优化了重传时失败后容错处理

AppendObject

追加上传, 最终文件最大支持5GiB

支持CRC64数据校验（默认启用）

支持进度条

高级版追加上传API：AppendFile

调用AppendFile方法以追加写的方式上传数据。如果对象不存在，则创建追加类型的对象。如果对象存在，并且不为追加类型的对象，则返回错误。

AppendFile方法定义如下。

append_file(bucket: str, key: str, request_payer: str | None = None, create_parameter: AppendObjectRequest | None = None, **kwargs) → AppendOnlyFile

请求参数列表

参数名	类型	说明
bucket	str	设置存储空间名
key	str	设置对象名
RequestPayer	str	启用了请求者付费模式时，需要设置为'requester'
CreateParameter	AppendObjectRequest	用于首次上传时，设置对象的元信息，包括ContentType，Metadata，权限，存储类型等，具体请参见AppendObjectRequest

返回值列表

类型	说明
AppendOnlyFile	追加文件的实例，具体请参见AppendOnlyFile

其中，AppendOnlyFile类包含的方法说明如下：

方法名	说明
Close()	关闭文件句柄，释放资源
write(b)	将字节数据写入到文件中，返回写入的字节数
write_from(b: str \| bytes \| Iterable[bytes] \| IO[str] \| IO[bytes])	将任意数据写入到文件中，返回写入的字节数

关于AppendFile方法的完整定义，请参见append_file。

基础版追加上传API：AppendObject

append_object(request: AppendObjectRequest, **kwargs) → AppendObjectResult

请求参数列表

参数名	类型	说明
request	AppendObjectRequest	设置请求参数，具体请参见AppendObjectRequest

返回值列表

类型	说明
AppendObjectResult	返回值，具体请参见AppendObjectResult

关于AppendObject方法的完整定义，请参见append_object。

示例代码

（推荐）使用AppendFile追加上传

import argparse
import alibabacloud_oss_v2 as oss

# 创建命令行参数解析器，并描述脚本用途：示例展示如何向OSS对象追加数据
parser = argparse.ArgumentParser(description="append file sample")

# 添加命令行参数 --region，表示存储空间所在的区域，必需参数
parser.add_argument('--region', help='The region in which the bucket is located.', required=True)
# 添加命令行参数 --bucket，表示要操作的存储空间名称，必需参数
parser.add_argument('--bucket', help='The name of the bucket.', required=True)
# 添加命令行参数 --endpoint，表示其他服务可用来访问OSS的域名，非必需参数
parser.add_argument('--endpoint', help='The domain names that other services can use to access OSS')
# 添加命令行参数 --key，表示对象（文件）在OSS中的键名，必需参数
parser.add_argument('--key', help='The name of the object.', required=True)

def main():
    # 解析命令行提供的参数，获取用户输入的值
    args = parser.parse_args()

    # 从环境变量中加载访问OSS所需的认证信息，用于身份验证
    credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()

    # 使用SDK的默认配置创建配置对象，并设置认证提供者
    cfg = oss.config.load_default()
    cfg.credentials_provider = credentials_provider
    cfg.region = args.region

    # 如果提供了自定义endpoint，则更新配置对象中的endpoint属性
    if args.endpoint is not None:
        cfg.endpoint = args.endpoint

    # 使用上述配置初始化OSS客户端，准备与OSS交互
    client = oss.Client(cfg)

    # 定义要追加的数据
    data1 = b'hello'
    data2 = b' world. '

    # 第一次追加数据
    with client.append_file(bucket=args.bucket, key=args.key) as f:
        append_f = f
        f.write(data1)
    # 打印第一次追加后的文件状态
    print(f'closed: {append_f.closed},'
          f' name: {append_f.name}'
    )

    # 第二次追加数据
    with client.append_file(bucket=args.bucket, key=args.key) as f:
        append_f = f
        f.write(data2)
    # 打印第二次追加后的文件状态
    print(f'closed: {append_f.closed},'
          f' name: {append_f.name}'
    )

    # 获取追加后的对象内容
    result = client.get_object(oss.GetObjectRequest(
        bucket=args.bucket,
        key=args.key,
    ))
    # 打印获取对象的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' content: {result.body.content.decode("utf-8")}'
    )

# 当此脚本被直接执行时，调用main函数开始处理逻辑
if __name__ == "__main__":
    main()  # 脚本入口点，控制程序流程从这里开始

使用AppendObject追加上传

import argparse
import alibabacloud_oss_v2 as oss

# 创建一个命令行参数解析器
parser = argparse.ArgumentParser(description="append object sample")

# 添加命令行参数
# --region: 指定OSS存储空间所在的区域
parser.add_argument('--region', help='The region in which the bucket is located.', required=True)
# --bucket: 指定要操作的存储空间名称
parser.add_argument('--bucket', help='The name of the bucket.', required=True)
# --endpoint: 可选参数，指定访问OSS服务的域名
parser.add_argument('--endpoint', help='The domain names that other services can use to access OSS')
# --key: 指定对象（文件）在OSS中的键名
parser.add_argument('--key', help='The name of the object.', required=True)

def main():
    # 解析命令行输入的参数
    args = parser.parse_args()

    # 从环境变量中加载OSS所需的认证信息
    credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()

    # 使用SDK提供的默认配置创建配置对象
    cfg = oss.config.load_default()

    # 设置认证信息提供者为之前创建的对象
    cfg.credentials_provider = credentials_provider

    # 根据用户输入设置OSS客户端使用的区域
    cfg.region = args.region

    # 如果用户提供了自定义的endpoint，则更新配置
    if args.endpoint is not None:
        cfg.endpoint = args.endpoint

    # 使用上述配置创建OSS客户端实例
    client = oss.Client(cfg)

    # 定义要追加的数据
    data1 = b'hello'
    data2 = b' world'

    # 第一次追加数据
    result = client.append_object(oss.AppendObjectRequest(
        bucket=args.bucket,  # 指定目标存储空间
        key=args.key,  # 指定对象的键名
        position=0,  # 追加的起始位置，初始为0
        body=data1,  # 要追加的数据
    ))

    # 打印第一次追加的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' version id: {result.version_id},'
          f' hash crc64: {result.hash_crc64},'
          f' next position: {result.next_position},' 
    )

    # 第二次追加数据
    result = client.append_object(oss.AppendObjectRequest(
        bucket=args.bucket,  # 指定目标存储空间
        key=args.key,  # 指定对象的键名
        position=result.next_position,  # 从上一次追加的下一个位置开始
        body=data2,  # 要追加的数据
    ))

    # 打印第二次追加的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' version id: {result.version_id},'
          f' hash crc64: {result.hash_crc64},'
          f' next position: {result.next_position},'
    )

# 当此脚本被直接运行时，调用main函数
if __name__ == "__main__":
    main()

常见使用场景

追加上传显示进度条

import argparse
import alibabacloud_oss_v2 as oss

# 创建一个命令行参数解析器
parser = argparse.ArgumentParser(description="append object sample")

# 添加命令行参数
# --region: 指定OSS存储空间所在的区域
parser.add_argument('--region', help='The region in which the bucket is located.', required=True)
# --bucket: 指定要操作的存储空间名称
parser.add_argument('--bucket', help='The name of the bucket.', required=True)
# --endpoint: 可选参数，指定访问OSS服务的域名
parser.add_argument('--endpoint', help='The domain names that other services can use to access OSS')
# --key: 指定对象（文件）在OSS中的键名
parser.add_argument('--key', help='The name of the object.', required=True)

def main():
    # 解析命令行输入的参数
    args = parser.parse_args()

    # 从环境变量中加载OSS所需的认证信息
    credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()

    # 使用SDK提供的默认配置创建配置对象
    cfg = oss.config.load_default()

    # 设置认证信息提供者为之前创建的对象
    cfg.credentials_provider = credentials_provider

    # 根据用户输入设置OSS客户端使用的区域
    cfg.region = args.region

    # 如果用户提供了自定义的endpoint，则更新配置
    if args.endpoint is not None:
        cfg.endpoint = args.endpoint

    # 使用上述配置创建OSS客户端实例
    client = oss.Client(cfg)

    # 定义一个字典变量 progress_state 用于保存上传进度状态，初始值为 0
    progress_state = {'saved': 0}
    def _progress_fn(n, written, total):
        # 使用字典存储累计写入的字节数，避免使用 global 变量
        progress_state['saved'] += n

        # 计算当前上传百分比，将已写入字节数与总字节数进行除法运算后取整
        rate = int(100 * (float(written) / float(total)))

        # 打印当前上传进度，\r 表示回到行首，实现命令行中实时刷新效果
        # end='' 表示不换行，使下一次打印覆盖当前行
        print(f'\r上传进度：{rate}% ', end='')

    # 定义要追加的数据
    data1 = b'hello'
    data2 = b' world'

    # 第一次追加数据
    result = client.append_object(oss.AppendObjectRequest(
        bucket=args.bucket,  # 指定目标存储空间
        key=args.key,  # 指定对象的键名
        position=0,  # 追加的起始位置，初始为0
        body=data1,  # 要追加的数据
        progress_fn=_progress_fn,  # 设置进度回调函数
    ))

    # 打印第一次追加的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' version id: {result.version_id},'
          f' hash crc64: {result.hash_crc64},'
          f' next position: {result.next_position},'
    )

    # 第二次追加数据
    result = client.append_object(oss.AppendObjectRequest(
        bucket=args.bucket,  # 指定目标存储空间
        key=args.key,  # 指定对象的键名
        position=result.next_position,  # 从上一次追加的下一个位置开始
        body=data2,  # 要追加的数据
        progress_fn=_progress_fn,  # 设置进度回调函数
    ))

    # 打印第二次追加的结果
    print(f'status code: {result.status_code},'
          f' request id: {result.request_id},'
          f' version id: {result.version_id},'
          f' hash crc64: {result.hash_crc64},'
          f' next position: {result.next_position},'
    )

# 当此脚本被直接运行时，调用main函数
if __name__ == "__main__":
    main()

追加上传（Python SDK V2）

注意事项

权限说明

方法定义

高级版追加上传API：AppendFile

请求参数列表

返回值列表

基础版追加上传API：AppendObject

请求参数列表

返回值列表

示例代码

（推荐）使用AppendFile追加上传

使用AppendObject追加上传

常见使用场景

追加上传显示进度条

相关文档