数据下载

在文件网关复制模式下,您可以使用数据下载功能将OSS Bucket中的数据下载至本地客户端。

前提条件

  • 已创建文件网关并添加缓存。更多信息,请参见管理文件网关添加缓存

  • 已创建OSS Bucket。更多信息,请参见控制台创建存储空间

    重要
    • 文件网关仅支持标准(Standard)类型、低频访问(IA)类型和归档存储类型的OSS Bucket。不支持回源特性的OSS Bucket。

    • 不建议网关直接对接归档类型的存储桶。如果文件写入后长时间不会修改,可以考虑使用标准类型或者低频类型的存储桶,然后以生命周期的方式将文件的存储类型修改为归档类型或者冷归档类型,减少不必要的解冻动作,这种方案从成本以及效率的角度来看都更优于其他方案。

    • 客户端写入文件到网关时,网关至少记录两个动作:写入文件以及设置文件修改时间。网关会尽量合并这两个动作,但仍可能针对某个文件向存储桶发起多个操作。设置修改时间会被转换成修改存储桶里的对象的元数据,通过调用拷贝对象API来实现,如果是归档类型或者冷归档类型的文件,则需要执行耗时的解冻动作,影响上传效率,甚至可能因为缓存盘内的数据来不及上传导致写入失败。

  • 文件网关使用反向同步或极速同步。具体操作,请参见极速同步

背景信息

在默认情况下,文件网关通过反向同步或极速同步将OSS Bucket元数据同步到本地客户端。文件网关复制模式下数据会在本地客户端和OSS Bucket分别有一份拷贝。新增数据下载功能,实现文件网关通过反向同步或极速同步的文件数据可以下载指定路径目录文件数据或全量数据至本地客户端。

经公网下载数据会产生OSS服务费用,您可以根据自己的需求进行选择使用。更多信息,请参见计费概述

新建共享目录开启数据下载

  1. 在云存储网关控制台的网关列表页面,找到并单击目标文件网关,单击共享列表 > 创建

  2. 在配置页面,完成共享配置。具体操作,请参见创建共享

  3. 高级设置页面中需额外配置以下参数,然后单击下一步

    参数

    说明

    模式

    开启复制模式功能。

    反向同步

    开启反向同步功能,将OSS上的元数据同步回本地,适用于网关容灾和数据恢复/共享场景。

    由于反向同步只在访问目录时触发,为确保未访问目录中的数据及新增数据能及时下载,推荐使用极速同步。更多信息,请参见极速同步

    说明
    • 反向同步会扫描Bucket下的所有对象,如果对象数量较多,会产生OSS API请求费用。具体费用,请参见对象存储 OSS 定价页中的请求费用。

    • 如果您在基本信息页签中勾选了加入同步组,则此选项不可用。

    反向同步时间间隔

    最小值为15s,最大值为36000s。

    说明

    如果Bucket内的对象比较多,建议反向同步间隔大于3600s,否则会由于反复扫描产生大量的OSS API的请求费用。

    复制模式高级选项

    勾选复制模式高级选项

  4. 复制模式高级设置页面完成以下参数配置,开启数据下载

    参数

    说明

    配置复制目录

    此配置项可以选择运行在复制模式的文件数据范围。

    • 未选中时,默认共享全量数据运行在复制模式。

    • 选中时,在配置页面单击添加目录,输入目标数据目录路径。指定目录路径数据运行在复制模式,未指定部分数据运行在缓存模式。

    说明
    • 当更改目录从缓存模式变成复制模式时,目录中的文件只有在开启数据下载时才会被同步。推荐您同时开启复制模式数据下载。

    • 指定目录路径为基于共享根目录的相对路径。例如,需要开启复制模式的目录的真实路径为/mnt/myshare/mydir/,其中/mnt/myshare为挂载点,那么填入/mydir/即可。

    数据下载

    开启数据下载时反向同步或极速同步可以同时下载元数据和文件数据,未开启时仅同步元数据。

    说明
    • 复制模式文件数据下载要求缓存盘容量大于所需复制文件总大小的1.1倍,请根据bucket使用量的增长预期,合理规划缓存盘容量大小。

    • 初次开启数据下载时,会触发一次全量扫描,可能会对性能产生影响,请确保开启数据下载时,网关处于空闲状态,直到完成所有数据下载。

    • 数据下载只支持一写多读的情况。如果对应的bucket有多个访问者(包括但不限于网关、直接OSS访问),只允许一个访问者上传文件到Bucket,其他访问者只能下载。多写多读情况下可能造成数据丢失,请您慎用。

    下载速度限制

    当开启复制模式文件数据下载时配置此项,下载速度限制不小于0 MB/s,且不大于1280 MB/s,当设置为0 MB/s即不限速。

    反向同步时间间隔

    当开启复制模式文件数据下载时配置此项,最小值为3600s,最大值为36000s。

    说明
    • 如果Bucket内的对象比较多,建议反向同步间隔大于3600s,否则会由于反复扫描产生大量的OSS API的请求费用。

    • 由于反向同步只在访问目录时触发,为确保未访问目录中的数据能下载,以及确保新增数据能及时下载,推荐您使用极速同步

现有共享目录开启数据下载

  1. 在云存储网关控制台的网关列表页面,找到并单击目标文件网关,单击右侧高级设置

  2. 共享高级设置页面需额外配置以下参数,开启数据下载

    项目

    说明

    模式

    当模式为复制模式时,才可使用数据下载功能。

    反向同步

    开启反向同步功能,将OSS上的元数据同步回本地,适用于网关容灾和数据恢复/共享场景。

    由于反向同步只在访问目录时触发,为确保未访问目录中的数据及新增数据能及时下载,推荐使用极速同步。更多信息,请参见极速同步

    说明
    • 反向同步会扫描Bucket下的所有对象,如果对象数量较多,会产生OSS API请求费用。具体费用,请参见对象存储 OSS 定价页中的请求费用。

    • 如果您在基本信息页签中勾选了加入同步组,则此选项不可用。

    数据下载

    开启数据下载时反向同步或极速同步可以同时下载元数据和文件数据,未开启时仅同步元数据。

    说明
    • 数据下载要求缓存盘容量大于所需复制文件总大小的1.1倍,请根据bucket使用量的增长预期,合理规划缓存盘容量大小。

    • 初次开启数据下载时,会触发一次全量扫描,可能会对性能产生影响,请确保开启数据下载时,网关处于空闲状态,直到完成所有数据下载。

    • 数据下载只支持一写多读的情况。如果对应的bucket有多个访问者(包括并不局限于网关、直接OSS访问),只允许一个访问者上传文件到bucket,其他访问者只能下载。多写多读情况下可能造成数据丢失,请您慎用。

    下载速度限制

    仅当开启数据下载时配置此项,限制下载速度不小于0MB/s,且不大于1280MB/s,当设置为0MB/s即为不限速。