OSSON云盒追加上传文件

追加上传是指在已有对象后新增数据。适用于支持追加操作的Appendable对象类型,此类对象允许在末尾添加数据,常用于大文件的分段上传或日志文件的持续更新。

前提条件

已创建云盒Bucket。具体操作,请参见创建云盒Bucket

背景信息

通过简单上传生成的Object类型为Normal,通过分片上传生成的Object类型为Multipart。这两种类型Object在上传结束之后内容是固定的,只能读取,不能修改。如果Object内容需要更新,只能重新上传同名的Object来覆盖之前的内容。

在视频监控和视频直播等领域,传统的简单上传和分片上传方式存在一些缺点,如架构复杂、延时高等。为了解决这些问题,OSS提供了追加上传(AppendObject)方式,允许实时更新已上传Object内容的视频流。

如果需要实时更新已上传Object内容的视频流,您需要先在本地进行视频拼接,然后通过OSS提供的追加上传(AppendObject)的方式上传视频,上传后将生成Appendable类型的Object。Appendable类型Object后面允许直接追加内容,且每次追加上传的数据都能够即时可读。

功能优势

通过追加上传,可在视频数据产生之后即时将数据上传至同一个Object,而客户端只需要定时获取该Object的长度,并与上次读取的长度进行对比。如果发现有新的可读数据,则触发一次读操作来获取新上传的数据部分即可。通过这种方式可以简化架构,增强扩展性。

使用限制

  • 大小限制

    Object大小不能超过5 GB。

  • 命名限制

    • 使用UTF-8编码。

    • 长度必须在1~1023字符之间。

    • 不能以正斜线(/)或者反斜线(\)字符开头。

  • 操作限制

    • 不支持通过追加上传的方式上传深度冷归档类型的Object。

    • 不支持拷贝通过追加上传方式上传的Object,但允许修改Object本身的meta信息。

    • 追加上传不支持上传回调操作。

操作步骤

使用阿里云SDK

仅支持通过Java SDK在已上传的Appendable类型Object后面直接追加内容,Java SDK要求3.15.0及以上版本。

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.AppendObjectRequest;
import com.aliyun.oss.model.AppendObjectResult;
import com.aliyun.oss.model.ObjectMetadata;
import java.io.ByteArrayInputStream;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;

public class Demo {

    public static void main(String[] args) throws Exception {
        // 填写云盒Bucket的数据域名。
        String endpoint = "https://cb-f8z7yvzgwfkl9q0h****.cn-hangzhou.oss-cloudbox.aliyuncs.com";
        // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 填写云盒Bucket名称,例如examplebucket。
        String bucketName = "examplebucket";
        // 填写云盒Bucket所在地域。
        String region = "cn-hangzhou";
        // 填写云盒ID。
        String cloudBoxId = "cb-f8z7yvzgwfkl9q0h****";
        // 填写Object完整路径,完整路径中不能包含Bucket名称,例如exampledir/exampleobject.txt。
        String objectName = "exampledir/exampleobject.txt";
        String content1 = "Hello OSS A \n";
        String content2 = "Hello OSS B \n";
        String content3 = "Hello OSS C \n";

        // 创建OSSClient实例。
        ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
        conf.setSignatureVersion(SignVersion.V4);
        OSS ossClient = OSSClientBuilder.create()
                .endpoint(endpoint)
                .credentialsProvider(new DefaultCredentialProvider(credentialsProvider.getCredentials()))
                .clientConfiguration(conf)
                .region(region)
                .cloudBoxId(cloudBoxId)
                .build();

        try {
            ObjectMetadata meta = new ObjectMetadata();
            // 指定上传的内容类型。
            meta.setContentType("text/plain");
            // 通过AppendObjectRequest设置多个参数。
            AppendObjectRequest appendObjectRequest = new AppendObjectRequest(bucketName, objectName, new ByteArrayInputStream(content1.getBytes()),meta);
           
             // 第一次追加。
            // 设置文件的追加位置。
            appendObjectRequest.setPosition(0L);
            AppendObjectResult appendObjectResult = ossClient.appendObject(appendObjectRequest);
            // 文件的64位CRC值。此值根据ECMA-182标准计算得出。
            System.out.println(appendObjectResult.getObjectCRC());

            // 第二次追加。
            // nextPosition表示下一次请求中应当提供的Position,即文件当前的长度。
            appendObjectRequest.setPosition(appendObjectResult.getNextPosition());
            appendObjectRequest.setInputStream(new ByteArrayInputStream(content2.getBytes()));
            appendObjectResult = ossClient.appendObject(appendObjectRequest);

            // 第三次追加。
            appendObjectRequest.setPosition(appendObjectResult.getNextPosition());
            appendObjectRequest.setInputStream(new ByteArrayInputStream(content3.getBytes()));
            appendObjectResult = ossClient.appendObject(appendObjectRequest);
        } catch (OSSException oe) {
            System.out.println("Caught an OSSException, which means your request made it to OSS, "
                    + "but was rejected with an error response for some reason.");
            System.out.println("Error Message:" + oe.getErrorMessage());
            System.out.println("Error Code:" + oe.getErrorCode());
            System.out.println("Request ID:" + oe.getRequestId());
            System.out.println("Host ID:" + oe.getHostId());
        } catch (ClientException ce) {
            System.out.println("Caught an ClientException, which means the client encountered "
                    + "a serious internal problem while trying to communicate with OSS, "
                    + "such as not being able to access the network.");
            System.out.println("Error Message:" + ce.getMessage());
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}

使用命令行工具ossutil

关于使用ossutil追加上传的具体操作,请参见append-object

使用REST API

如果您的程序自定义要求较高,您可以直接发起REST API请求。直接发起REST API请求需要手动编写代码计算签名。更多信息,请参见AppendObject