文档

数据下载

更新时间:

在文件网关复制模式下,您可以使用数据下载功能将OSS Bucket中的数据下载至本地客户端。

前提条件

背景信息

在默认情况下,文件网关通过反向同步或极速同步将OSS Bucket元数据同步到本地客户端。而文件网关复制模式下数据会在本地客户端和OSS Bucket分别有一份拷贝。新增数据下载功能,实现文件网关通过反向同步或极速同步的文件数据可以下载指定路径目录文件数据或全量数据至本地客户端。

经公网下载数据会产生OSS服务费用,您可以根据自己的需求进行选择使用,计费规则请参见计费概述

新建共享目录开启数据下载

您可以根据以下步骤,创建共享目录开启数据下载功能。

  1. 登录云存储网关控制台

  2. 选择目标文件网关所在地域。

  3. 网关列表页面,单击目标文件网关,进入操作页面。

  4. 选择共享页签,单击创建

  5. Bucket设置页签中完成配置,并单击下一步,请参见Bucket设置说明

  6. 基本信息页签中完成配置,并单击下一步,请参见基本信息设置说明

  7. 高级设置页签中完成配置,请参见高级设置说明,并额外配置以下参数,然后单击下一步

    参数

    说明

    模式

    选择开启复制模式功能。

    反向同步

    选择开启反向同步功能,将OSS上的元数据同步回本地,适用于网关容灾和数据恢复/共享场景。

    由于反向同步只在访问目录时触发,为确保未访问目录中的数据及新增数据能及时下载,推荐使用极速同步,请参见极速同步

    说明
    • 反向同步会扫描Bucket下的所有对象,如果对象数量较多,会产生OSS API请求费用。具体费用,请参见对象存储 OSS 详细价格信息中的请求费用。

    • 如果您在基本信息页签中勾选了加入同步组,则此选项不可用。

    反向同步时间间隔

    最小值为15s,最大值为36000s,默认值为36000s。

    说明

    如果Bucket内的对象比较多,建议反向同步间隔大于3600s,否则会由于反复扫描产生大量的OSS API的请求费用。

    复制模式高级选项

    勾选复制模式高级选项

  8. 复制模式高级设置页签中完成以下参数配置并单击下一步

    参数

    说明

    配置复制目录

    此配置项可以选择运行在复制模式的文件数据范围。

    • 未选中时,默认共享全量数据运行在复制模式。

    • 选中时,在配置页面单击添加目录,输入目标数据目录路径。指定目录路径数据运行在复制模式,未指定部分数据运行在缓存模式。

    说明
    • 当更改目录从缓存模式变成复制模式时,目录中的文件只有在开启数据下载时才会被同步。推荐您同时开启复制模式数据下载。

    • 指定目录路径为基于共享根目录的相对路径。例如,需要开启复制模式的目录的真实路径为/mnt/myshare/mydir/,其中/mnt/myshare为挂载点,那么填入/mydir/即可。

    数据下载

    反向同步或极速同步默认会同步元数据,使用文件数据下载可以同时下载文件数据。当开启反向同步或者开启极速同步时,可以选择开启复制模式文件数据下载

    说明
    • 复制模式文件数据下载要求缓存盘容量大于所需复制文件总大小的1.1倍,请根据bucket使用量的增长预期,合理规划缓存盘容量大小。

    • 初次开启数据下载时,会触发一次全量扫描,可能会对性能产生影响,请确保开启数据下载时,网关处于空闲状态,直到完成所有数据下载。

    • 数据下载只支持一写多读的情况。如果对应的bucket有多个访问者(包括并不局限于网关、直接OSS访问),只允许一个访问者上传文件到Bucket,其他访问者只能下载。多写多读情况下可能造成数据丢失,请您慎用。

    下载速度限制

    当开启复制模式文件数据下载时配置此项,下载速度限制不小于0 MB/s,且不大于1280 MB/s,当设置为0 MB/s即不限速。

    反向同步时间间隔

    当开启复制模式文件数据下载时配置此项,支持3600s~36000s的反向同步间隔,默认值为36000s。

    说明
    • 如果Bucket内的对象比较多,建议反向同步间隔大于3600s,否则会由于反复扫描产生大量的OSS API的请求费用。

    • 由于反向同步只在访问目录时触发,为确保未访问目录中的数据能下载,以及确保新增数据能及时下载,推荐您使用极速同步

  9. 总结页签中,确认信息无误后,单击完成

现有共享目录开启数据下载

您可以根据以下步骤,使用数据下载功能。

  1. 登录云存储网关控制台

  2. 在控制台的左上角,选择目标文件网关所在的区域。

  3. 网关列表页面,选择目标网关。

  4. 共享列表页面,单击目标共享高级设置

  5. 共享高级设置页签完成配置,请参见高级设置说明,并额外配置以下参数。

    项目

    说明

    模式

    当模式为复制模式时,可以使用数据下载功能。

    反向同步

    将OSS上的元数据同步回本地。适用于网关容灾和数据恢复/共享场景。

    由于反向同步只在访问目录时触发,为确保未访问目录中的数据及新增数据能及时下载,推荐使用极速同步,请参见极速同步

    说明
    • 反向同步会扫描Bucket下的所有对象,如果对象数量较多,会产生OSS API请求费用。具体费用,请参见对象存储 OSS 详细价格信息中的请求费用。

    • 如果您在基本信息页签中勾选了加入同步组,则此选项不可用。

    数据下载

    反向同步或极速同步默认会同步元数据,使用数据下载可以下载指定路径目录文件数据或全量数据至本地客户端。当开启反向同步或开启极速同步时,选择开启数据下载

    说明
    • 数据下载要求缓存盘容量大于所需复制文件总大小的1.1倍,请根据bucket使用量的增长预期,合理规划缓存盘容量大小。

    • 初次开启数据下载时,会触发一次全量扫描,可能会对性能产生影响,请确保开启数据下载时,网关处于空闲状态,直到完成所有数据下载。

    • 数据下载只支持一写多读的情况。如果对应的bucket有多个访问者(包括并不局限于网关、直接OSS访问),只允许一个访问者上传文件到bucket,其他访问者只能下载。多写多读情况下可能造成数据丢失,请您慎用。

    下载速度限制

    当开启数据下载时配置此项,限制下载速度不小于0MB/s,且不大于1280MB/s,当设置为0MB/s即为不限速。

  6. 确认页面设置信息,单击确认,完成下载任务创建。