结合轻量消息队列实现OSS事件通知

您可以通过OSS管理控制台配置事件通知规则,自定义您关注的文件(Object),当这些Object发生指定事件时,您可以通过轻量消息队列SMQ(原 MNS)指定的接收终端,及时收到Object的事件通知。

场景描述

某企业在华东1(杭州)地域创建了名为srcbucket的存储空间(Bucket),Bucket内包含了不同日期持续生成的以log为前缀的日志文件log/date1.txt、log/date2.txt和log/date3.txt等,以及以周为单位收集的以destdir为前缀的客户案例图片文件destdir/photo1.jpg、destdir/photo2.jpg等。

srcbucket
    └── log/
       ├── date1.txt
       ├── date2.txt
       ├── date3.txt
       ├── .......
    └── destdir/       
       ├── photo1.jpg
       ├── photo2.jpg
       ├── ......

该企业子公司需要将srcbucket内以上持续生成的日志以及客户案例图片文件、以及这些文件在任意时间内产生的变化(例如文件的增、删、改操作)实时同步至母公司位于英国(伦敦)地域下名为destbucket的存储空间,并希望公司全员能及时了解srcbucket以及destbucket内与前缀log以及destdir匹配的文件的变化情况。

为实现以上需求,您需要为srcbucket配置跨区域复制规则,同时还需要为srcbucket以及destbucket配置事件通知。

步骤一:创建队列

  1. 登录轻量消息队列(原 MNS)管理控制台

  2. 在左侧导航栏,单击队列列表

  3. 在顶部导航栏,选择华东1(杭州)地域。

  4. 队列列表页面,单击创建队列

  5. 创建队列面板,队列名称设置为myqueue1,其他参数保持默认配置。

  6. 单击确定

  7. 重复上述步骤在英国(伦敦)地域创建用于接收目标存储空间destbucket事件通知的队列myqueue2

步骤二:为srcbucket配置跨区域复制

  1. 登录OSS管理控制台

  2. 单击Bucket列表,然后单击srcbucket。

  3. 在左侧导航栏,选择数据管理 > 跨区域复制

  4. 跨区域复制页面,单击跨区域复制

  5. 跨区域复制面板,配置以下参数。

    参数

    说明

    目标Bucket

    选择英国(伦敦),然后选择destbucket

    数据复制对象

    选择指定文件名前缀进行同步,并添加前缀destdir/以及log/

    数据复制策略

    选择增/删/改同步

    复制历史数据

    选择复制

    授权角色

    选择跨区域复制的授权角色。

  6. 勾选数据跨境合规承诺,然后单击确定

步骤三:为srcbucket及destbucket配置事件通知

重要

因步骤二中跨区域复制规则中指定了同步历史数据,且需要同步的历史数据较多,会触发大量的消息。如果您不希望同步历史数据过程中触发消息,建议待历史数据同步完成后再开启事件通知。

  1. 为源存储空间srcbucket配置事件通知。

    1. 登录OSS管理控制台

    2. 单击Bucket列表,然后单击srcbucket。

    3. 在左侧导航栏,选择数据处理 > 事件通知

    4. 事件通知页面,单击创建规则

    5. 创建规则面板,按如下说明配置各项参数,然后单击确定

      参数

      说明

      规则名称

      将事件通知规则名称设置notification1

      事件类型

      选择PutObjectCopyObjectDeleteObjectDeleteObjects

      资源描述

      选择前后缀,并依次添加前缀log/以及destdir/

      接收终端

      选择队列,并填写步骤一中创建的队列名称myqueue1

  2. 为目标存储空间destbucket配置事件通知。

    1. 单击左侧导航栏的Bucket列表,然后单击destbucket。

    2. 在左侧导航栏,选择数据处理 > 事件通知

    3. 事件通知页面,单击创建规则

    4. 创建规则面板,按如下说明配置各项参数,然后单击确定

      参数

      说明

      规则名称

      将事件通知规则名称设置notification2

      事件类型

      选择ObjectReplication:ObjectCreatedObjectReplication:ObjectRemovedObjectReplication:ObjectModified

      资源描述

      选择前后缀,并依次添加前缀log/以及destdir/

      接收终端

      选择队列,并填写步骤一中创建的队列名称myqueue2

以上步骤配置完成后,事件通知规则约10分钟后生效。

步骤四:接收消息

当触发了事件匹配规则时,轻量消息队列将自动创建主题(Topic),Topic名称格式为mns-en-topics-[Product]-[RuleName]-[Timestamp],例如mns-en-topics-oss-notification1-1700098799。此时,您需要为该Topic创建订阅,并在订阅规则中指定接收端地址。

  1. 为Topic创建订阅。

    1. 登录轻量消息队列(原 MNS)管理控制台

    2. 在左侧导航栏,单击主题列表

    3. 在顶部导航栏,选择华东1(杭州)地域。

    4. 在自动创建的Topic右侧的操作栏下,单击查看订阅

    5. 在目标Topic订阅页面,单击订阅管理,然后单击创建订阅

    6. 创建订阅页面,为源存储空间srcbucket创建订阅。订阅名称输入mysubscription1订阅类型选择队列接收端地址输入myqueue1,其他参数保留默认配置。

    7. 单击确定

    8. 重复上述步骤在英国(伦敦)地域为目标存储空间destbucket创建订阅mysubscription2,推送类型选择队列,接收端地址指定为myqueue2,其他参数保留默认配置。

  2. 接收通知。

    1. 在左侧导航栏,单击队列列表

    2. 选择目标队列myqueue1右侧操作栏下的更多 > 收发消息

    3. 接收消息区域,单击右上角的接收消息

      此时,您将接收到源存储空间srcbucket内与前缀log以及destdir匹配的文件的增、删、改操作的事件通知。

    4. 重复上述步骤为目标存储空间destbucket对应的队列myqueue2配置接收通知。配置完成后,您将接收到destbucket内由于跨区域复制规则生成、覆盖或者删除文件的事件通知。

    当您不再需要接收相关事件通知时,请及时删除相应的事件通知规则。但是,事件通知规则删除后,不会同步删除自动创建的Topic。为避免产生不必要的费用,请及时删除不再使用的Topic。