全部产品
云市场
    如何同步数据到OSS

如何同步数据到OSS

更新时间:2019-09-06 17:59:27

用户可参考以下方法,将增量数据自动同步到OSS的Bucket中。

主要方法

  • OSS跨区域复制:将OSS的BucketA数据,同步到另一个区域的BucketB中。您可以在控制台中,对OSS源Bucket设置跨区域复制
  • 镜像回源:适用于客户源站无缝迁移数据到OSS。即服务已在源站或者在其他云产品上运行,需迁移到OSS,但又不能停止服务。在Ossimport完成历史数据迁移且业务切换到OSS后,当访问的数据不在OSS,会触发镜像回源到源站抓取,并下载到OSS中。
    镜像回源
  • OSS API或SDK:使用OSS API或SDK编写代码实现,详情请参见CopyObjectUploadPartCopy

场景1:OSS的不同Bucket之间的数据同步

当需要将BucketA数据,同步到BucketB时,可参考如下方法:

  • 设置跨区域复制
    适用于源BucketA、目的BuketB都不是归档存储,且分属不同区域场景。
  • 镜像回源
    适用于当客户端访问BucketB时,BucketB中没有该数据,触发镜像回源去BcuektA中抓取,下载到BucketB。
  • OSS API/SDK CopyObject、UploadPartCopy
    适用于用户有特性需求,且有较强开发能力。

常见疑问

  • 是否可以指定Bucket下特定目录而非整个Bucket间进行同步?
    可以。通过设置跨区域复制功能指定文件名前缀进行同步,只同步特定目录。

  • 归档存储是否可以使用跨区域复制功能?
    当源Bucket或目标Bucket是归档存储时,不支持设置跨区域复制。用户可以使用OSS API/SDK 编写代码,以实现同步。

    由于归档存储存在恢复时间,如果客户在应用中,需要由归档存储,向标准或低频存储间同步,建议采用更合理的架构,将源Bucket改为标准或低频存储,目标Bucket改为归档存储,节省成本,提升业务体验。

场景2:第三方数据源的数据“同步”到OSS

第三方数据源,自动同步到OSS,可参考如下方法:

  • 镜像回源
    • 当客户端访问OSS时,OSS如没有该数据,则触发镜像回源去第三方数据源站中抓取,下载到OSS。镜像回源
  • OSS API/SDK Copy Object、Upload Part Copy
    适用于用户有特性需求,且有较强开发能力
  • 使用ossimport增量迁移模式
    使用ossimport数据迁移增量模式定期查询源站数据,并将其同步到OSS中。

常见疑问

如果是将历史数据批量地迁移或复制到OSS,请参考如何将数据迁移到OSS

其他

如果问题还未能解决,请联系售后技术支持