本文通过优化数据集缓存、优化大规模数据库的内置缓存和开启全表扫描,为您介绍如何全面提升数据集的性能。

前提条件

您已创建一个数据集。请参见创建并管理数据集

背景信息

数据集缓存机制可以加速报表访问,降低数据库的压力。例如,某个数据集开启缓存后,只要报表被访问过,则在预设的缓存时间内,其他人再访问报表时,系统无需查询即可直接显示报表数据。

数据集缓存机制

开启缓存后,各版本支持设置的缓存时间如下:
版本 缓存时间
标准版 5分钟、30分钟、1小时、2小时、4小时、12小时。
高级版 个人空间 5分钟、30分钟、1小时、2小时、4小时、12小时。
群空间 5分钟、30分钟、1小时、2小时、4小时、12小时。
专业版 个人空间 5分钟、30分钟、1小时、2小时、4小时、12小时。
群空间 5分钟、30分钟、1小时、2小时、4小时、12小时、24小时。
  • 超过预设的缓存时间后,缓存失效,此时在报表页面触发查询才会有新的缓存,相同SQL查询语句从缓存中取数。
  • 缓存以数据集为粒度,清理缓存时会清理该数据集关联的所有图表缓存数据。超过预设的缓存时间后,此数据集的所有图表缓存都会被清除。

数据集预计算机制

数据集预计算功能适用于每天产出一次数据的数据集。

基于MaxCompute(ODPS)、Mysql、PostgreSQL创建的数据集,支持开启预计算

开启预计算功能后,系统会在报表访问之前,预先计算出数据。当用户访问该报表时,便可以快速返回结果。预计算加速具有以下优势:
  • 操作简单,您仅需一键开启预计算,系统将自动根据过去7天数据集的使用情况,构建模型,预先计算汇总结果数据(目前只针对聚合查询)。
  • 高性能低成本,针对大型数据集,通过预先计算汇总结果,对数据进行降维,可以大幅降低查询时间,显著提高分析效率。

配置加速缓存

通过设置缓存时间、开启加速引擎或开启预计算功能,帮助您加速查询报表。

如果您需要开启加速引擎功能,需要组织管理员已完成加速引擎的配置,请参见配置Quick引擎

  1. 登录Quick BI控制台
  2. 在顶部菜单栏,单击工作空间,然后在弹出页面的左侧导航栏中,单击数据集
  3. 数据集管理页面,单击目标数据集操作列的更多图标,选择加速缓存
    您也可以右键单击目标数据集并选择加速缓存
  4. 缓存配置页面,配置以下参数。
    加速缓存
    • 开启缓存:某个数据集开启缓存后,只要报表被访问过,则在预设的缓存时间内,其他人再访问报表时,系统无需查询即可直接显示报表数据。
    • 开启加速:当数据量较大时,图表查询会自动通过配置的阿里云上的数据湖分析服务(Data Lake Analytics,简称DLA) 进行加速,最大加速效果可以做到亿级数据秒级响应,从而节省用户查询报表时间。
    • 开启预计算:开启预计算功能后,系统会在报表访问前,预先计算数据。当用户访问该报表时,便可以快速返回结果。
      说明
      • 基于MaxCompute(ODPS)、Mysql、PostgreSQL创建的数据集,支持开启预计算
      • 开启预计算适用于每天产出一次数据的数据集。
  5. 单击确定

优化大存储慢查询数据库的性能

对于MaxCompute(ODPS)、Hive等慢查询数据库,Quick BI通过内置查询引擎来优化查询性能,达到性能优化的效果。

全表扫描机制

对于MaxCompute(ODPS)分区表创建的数据集,如果不开启全表扫描开关,则无法查询数据。

  1. 登录Quick BI控制台
  2. 单击工作空间 > 数据集
  3. 数据集管理页面,找到的目标数据集并单击操作列的更多图标,选择属性
    您也可以右键单击目标数据集并选择属性
  4. 属性页面,选中是否全表扫描选项开启全表扫描。
    全表扫描
  5. 单击保存
  6. 可选:如果开启全表扫描机制性能较慢,可以采用数据集过滤SQL过滤的方案,具体操作如下:
    • 数据集过滤
      1. 数据集管理页面,找到目标数据集并单击操作列的edit图标。
      2. 在数据集编辑页面,单击顶部菜单栏的设置过滤条件
      3. 数据集过滤条件设置页面,增加分区字段的过滤条件。过滤1
    • SQL过滤

      在Where条件中增加过滤条件,完成过滤。请参见创建并管理数据集

更换数据源

您可以通过更换数据集对应的数据源,来提升数据集的性能。

注意 更换数据源,会导致当前未保存内容丢失,请先保存数据集。同时因不同数据源的语法支持差异,变更后请检查计算字段是否正确。
  1. 登录Quick BI控制台
  2. 单击工作空间 > 数据集
  3. 数据集管理页面,单击目标数据集名称。
    您也可以单击目标数据集所在行的modify图标,进入数据集编辑页面。编辑
  4. 在数据集编辑页面,单击下拉框选择待更换的数据源。更换数据源
    说明 下拉列表中会展示本项目空间下的所有数据源,其中:
    • 第一列为数据源名称。
    • 第二列为数据源类型。
  5. 切换数据源对话框中,确认提示信息后,单击确定