逻辑数仓加速查询

在源库或逻辑数仓进行百万级别的数据查询时,可能会存在查询耗时较长的问题,这会给源库造成压力并影响数据库性能。您可以使用逻辑数仓的加速查询功能,大幅度提高SQL查询分析的速度(复杂场景下甚至可提高10倍以上),减少查询分析对源库的压力。

背景信息

逻辑数仓的加速查询功能可以定时或周期性地将源数据库的表数据同步到DMS的专属存储,便于您在逻辑数仓快速进行SQL分析、查询操作。

前提条件

使用限制

  • 该功能仅支持华东1(杭州)地域的RDS MySQL、自建MySQL数据库使用。

  • 每个DMS租户仅可存储100 GB的加速数据。

费用说明

目前加速查询功能与专属存储均不收费。

步骤一:配置加速任务

该步骤可以将源表数据写入专属存储。您可通过如下两种方式进行操作:

方式一:通过数据库配置加速任务

  1. 登录数据管理DMS 5.0

  2. 单击页面左侧的数据库实例,在展开的数据库实例面板中,单击逻辑数仓

  3. 在逻辑数仓页面左侧的数据源页签下,展开目标DBLink(数据源)和数据库,找到目标表。

  4. 右键单击表名,在弹框中单击表加速

  5. 预检查阶段,可查看表是否已加速、是否支持批量加速。若未加速,则单击下一步

  6. 创建逻辑视图阶段,输入视图名称,选择保存视图的虚拟数据库,单击创建

    说明

    虚拟数据库可选择系统内置的public数据库。

  7. 配置加速阶段,保持加速开关为开启状态,选择加速频率。加速频率可选择:

    • 单次加速:仅全量同步一次表数据至专属存储。后续如果需要查询表的增量数据,则不会有加速的效果。

    • 持续加速:根据设置的调度周期同步表数据至专属存储。调度周期支持按小时定时更新表数据。

      • 调度周期选择小时

        • 定时调度选择指定时间范围:设置调度的时间范围以及调度间隔(单位:小时),需要选择开始时间、间隔时间和结束时间。

          说明

          若开始时间为空,任务立即进行调度。

          例如开始时间为02:00,间隔时间为2小时,结束时间为06:00。表示在凌晨2时、4时同步数据,在凌晨6时结束本次同步任务。

        • 定时调度选择指定时间:指定同步的时间(可多选)。

          例如选择凌晨2时、凌晨5时、20时同步数据。若示例中从凌晨2时开始执行的任务在凌晨5时还未完成,那么将会跳过凌晨5时的调度任务。

      • 调度周期选择

        需要设置每天进行同步的具体时间。例如每天凌晨5时开始同步数据。

      • 调度周期选择

        需要设置每星期几(可多选)及具体时间。例如设置每周的星期二、星期六的凌晨5时开始同步数据。

      • 调度周期选择

        需要设置每月几号(可多选)及具体时间。例如设置每月5号、15号的凌晨5时开始同步数据。

  8. 单击提交。若配置无误,界面会提示加速配置成功。

方式二:通过视图配置加速任务

使用此方式配置加速任务,需确保您已给待加速的表创建了逻辑视图。创建逻辑视图的具体操作,请参见创建逻辑视图

  1. 在逻辑数仓页面左侧的虚拟库页签下,展开数据库和逻辑视图,找到待加速的逻辑视图

  2. 右键单击待加速的逻辑视图名称,选择视图加速

  3. 对表进行加速配置。

    视图加速对话框中,可查看系统自动检测出该视图所使用的表,并且每张表都可独立进行加速配置。加速配置的具体操作,请参见表加速

步骤二:使用加速查询

该步骤将从专属存储中读数据。

  1. 完成配置加速任务后,在逻辑数仓的SQL Console页面,选中使用加速数据

    重要

    若加速任务配置的是批量定时同步,则查询使用的加速数据是上一个周期同步到专属存储的数据,非实时更新数据。若您需要查询最新数据,请不要勾选使用加速数据,系统将直接在源库中读取、查询数据。

    2023-03-27_12-39-57

  2. 输入相关查询SQL,单击执行

    系统会自动检测本次查询是否使用加速表。若使用,则会在执行结果下方出现已使用加速数据的提示,您可单击该提示信息,查看已加速的表。

    image.png

其他操作

  • 查看查询数据的耗时、运行日志等。

    右键单击目标加速表,单击加速任务页签,在加速任务页面查看加速任务名、任务执行耗时运行日志等信息。

  • 查看数据库是否已配置加速查询。

    1. 在逻辑数仓左侧数据源页签下,单击2023-03-27_12-03-51图标。

    2. 在筛选提示框中选择,筛选出已开启加速的数据库。

  • 查看加速的数据库名称和表名

    右键单击目标加速表,在加速详情页签下查看。

  • 修改加速任务配置。

    1. 右键单击目标加速表,单击加速详情页签。

    2. 单击加速信息区域的修改,修改完成后,单击确认即可。