逻辑数仓加速查询
逻辑数仓的加速查询功能可实时或定时地将源表数据同步到数据管理DMS中的专属存储,并在专属存储中进行SQL分析、查询。该功能可大幅度提高SQL查询的速度,并减少查询分析对源库的压力。本文介绍如何开启、配置加速任务并对数据库进行加速查询。
背景信息
在源库或逻辑数仓进行百万级别的数据查询时,可能会存在耗时较长的情况,给源库造成压力,并影响数据库性能。使用逻辑数仓的加速查询功能可大幅度提高SQL查询分析速度(复杂场景下甚至可提高10倍以上)、缩短耗时,同时减少查询分析对源库造成的压力,从而提升源库性能。
使用限制
该功能仅支持华东1(杭州)地域的RDS MySQL、自建MySQL数据库。
每个DMS租户仅可存储100 GB的加速数据。
费用说明
目前加速查询功能与专属存储都不收费。
配置加速任务
您可根据实际业务情况选择如下任一方式配置加速任务。
方式一:通过数据库配置加速任务
登录数据管理DMS 5.0。
单击页面左侧的数据库实例,在展开的数据库实例面板中,单击逻辑数仓。
在逻辑数仓页面左侧的数据源页签下,展开目标DBLink(数据源)和数据库,找到目标表。
右键单击表名,在弹框中单击表加速。
在加速设置对话框中,打开加速开关,配置如下加速信息。
配置项
说明
加速频率
选择加速频率的方式:
单次加速:仅全量同步一次表数据。
持续加速:多次同步表数据。
同步方式
选择同步方式:
实时:该方式会多次、实时地更新数据。
批量:定时触发加速任务,批量更新数据,需要设置更新的周期和间隔。
调度周期
定时加速的间隔单位,仅支持按天定时更新表数据。
周期间隔
间隔多少个调度周期后再进行加速。例如间隔2,则系统会在2个调度周期后更新专属存储。
开始调度时间
首次加速的时间,时间格式为YYYY-MM-DD hh:mm:ss。若为空,任务立即进行调度。
调度触发时间
何时触发加速任务运行。例如01:05,表示每天在01点05分触发加速任务运行。
数据传输模式
当同步方式为批量时,需要选择数据传输模式:
全量:每次更新数据会全量拉取源表数据并覆盖目标专属存储中的存量数据。
该方式可保障加速存储中的数据与源表数据一致,但同步速度较慢,且在同步过程中会对源库造成压力。
说明若您选择全量传输模式,建议您将调度触发时间设置在业务低峰期。
全量+增量:每次更新数据都会按照配置的时间字段在源库过滤近一个周期间隔的数据,并在第二个周期开始时,将过滤的数据同步至专属存储中。
该方式每次同步的数据量少,同步效率高,但专属存储仍会保留已从源数据库中删除的数据。
时间字段
当数据传输模式为全量+增量时,需要选择一个时间字段,用于增量过滤并同步源表数据至专属存储。
系统在定时同步数据时,会按照近一个调度周期添加增量过滤条件,例如时间字段选择gmt_modifed,则每次只同步符合此条件的数据:
gmt_modified>'${2023-02-02 00:00:00}' and gmt_modified<'${2023-02-03 00:00:00}'
。配置完成后,单击确认。
设置成功后,系统将按照加速配置启动加速任务。
查看已开启加速的数据库。
在逻辑数仓左侧数据源页签下,单击
图标。
在筛选提示框中选择是,筛选出已开启加速的数据库。
查看加速详情。
右键单击目标加速表,单击加速详情。
在加速详情页面可查看加速的数据库名称和表名。
(可选)修改加速信息。具体操作,请参见配置项说明。
查看加速任务。
右键单击目标加速表,单击加速任务。在加速任务页面可查看加速ID、加速类型及任务的启动时间等信息。
方式二:通过视图快速配置加速任务
使用此方式配置加速任务,需确保您已给待加速的表创建了逻辑视图。创建逻辑视图的具体操作,请参见创建逻辑视图。
在逻辑数仓页面左侧的虚拟库页签下,展开数据库和逻辑视图,找到待加速的逻辑视图。
右键单击待加速的逻辑视图名称,选择视图加速。
对表进行加速配置。
在视图加速对话框中,可查看系统自动检测出该视图所使用的表,并且每张表都可独立进行加速配置。加速配置的具体操作,请参见表加速。
使用加速查询
完成配置加速任务后,前往逻辑数仓的SQL Console页面。
选中使用加速数据。
重要若加速任务配置的是批量定时同步,则查询使用的加速数据是上一个周期同步到专属存储的数据,非实时更新数据。若您需要查询最新数据,请不要勾选使用加速数据,系统将直接在源库中读取、查询数据。
输入相关查询SQL,单击执行。
系统会自动检测本次查询是否使用加速表。若使用,则会在执行结果下方出现已使用加速数据的提示,您可单击该提示信息,查看已加速的表。