为了更好的优化数据集性能,Quick BI推出Quick引擎,Quick引擎支持直连模式、抽取加速、实时加速、查询缓存和维值加速5种计算模式,本文为您介绍如何配置Quick引擎。

前提条件

已连接目标数据源,请参见连接数据源

如何使用Quick引擎

在正式开始介绍Quick引擎具体用法前,先结合每种计算模式特点给出一个场景使用指南,方便您在不同场景下选择最合适的计算模式。

直连模式

直连模式是Quick引擎查询的默认模式,所有的查询会发送给底层数据库或数仓执行,所有与Quick BI连接的数据库均支持该模式。

  1. 登录Quick BI控制台
  2. 在Quick BI首页,按照下图指引,进入数据集编辑页面。
    进入数据集
  3. 在数据集编辑页面,按照下图指引创建数据集。
    数据集保存后,后续基于该数据集创建的数据分析查询默认直连模式。进入创建数据集页面

抽取加速

当直连模式查询过多或者数据量过大时,会使得数据库负载过重导致查询速度变慢,从而影响仪表板展示和数据分析效率,此时可以考虑Quick引擎的抽取加速。抽取加速有以下特点:
  • 可以周期性抽取数据到Quick引擎中,通常适用于离线型数据,例如天粒度的数据。
  • 支持增量和全量抽取,包含全表抽取和预计算两种模式。
  • 免费赠送抽取空间:
    • 高级版抽取加速容量为2 GB。
    • 专业版抽取加速容量为10 GB。
  • 支持单表抽取限制:
    • 高级版单表不超过100万行数据。
    • 专业版单表不超过1亿行数据。
  • 支持高级版、专业版抽取加速容量扩容。说明如下:
    • 扩容需以5 GB为单位进行购买(5000元/年),最多可扩容100 GB。
    • 高级版扩容后,单表抽取数据限制从100万行变为500万行。
    • 高级版扩容后,如果从高级版升级为专业版,付费扩容的容量不变,免费容量由2 GB变为10 GB。
说明 仅高级版和专业版支持抽取加速功能,目前覆盖MySQL、SQL Server、ADB for MySQL、Oracle、MaxCompute、PostgreSQL和Hologres七种数据源。
  1. 组织管理员开启抽取加速功能。
    1. 登录Quick BI控制台
    2. 按照下图指引,打开抽取加速开关。
      抽取加速1
  2. 数据开发人员在目标数据集中,开启并使用离线加速功能。
    1. 在Quick BI首页,按照下图指引,进入数据集管理页面。
      进入数据集
    2. 在数据集列表中,选择目标数据集并配置加速功能。
      配置离线加速_4.2.2
      Quick引擎(公测)区域,打开开启引擎开关并选中抽取加速后,您需要配置以下参数:
      参数名称 参数描述
      抽取方式 支持全表加速预计算两种计算模式。
      • 选择全表加速,则系统会抽取全量的数据并进行加速计算。

        开启后所有查询都可以加速,对于抽取空间有较高要求,如果您的抽取空间足够大,推荐您选择全表加速

      • 选择预计算,则系统会抽取部分数据并进行加速计算。

        开启后,系统会将高频查询结果预先计算好,当用户访问该报表时,便可以快速返回结果。例如,对于有分区的ODPS表,您可以选择预计算方式只抽取一部分,从而节约抽取空间,提高分析效率。

      抽取时间 支持手动触发定时加速两种方式。
      • 选择手动触发,手动触发后,才会进行数据的抽取加速。
      • 选择定时加速,并配置时间后,则每日或每小时会定时进行数据的抽取加速。
      定时配置 支持按照天或者小时级别,定时配置抽取加速的时间。
      说明 仅当选择抽取时间定时加速,才能配置该选项。
      按日期加速 如果当前表为分区表且日期字段为分区列,则您可以选择该日期字段,并进行增量抽取。您也可以配置仅抽取最近几天的数据,来节约抽取空间。
      失败报警 当任务执行失败时,您可以配置报警的接收方式和收件人。
      • 接收方式支持钉钉邮箱钉钉群3种方式。
      • 收件人:一次可选择多个收件人,且收件人只能是同组织下的阿里云账户。

        若收件人名称显示灰色,说明该账户没有设置邮箱,请确保收件人已设置好邮箱。配置邮箱的操作请参见收件人邮箱配置

        说明 仅当接收方式选择钉钉邮箱时,需要配置收件人。
      • 机器人webhook密钥:择接收方式为钉钉群时,需要配置该选项。

        获取机器人Webhook地址请参见如何获取自定义机器人Webhook地址?

        密钥为获取自定义机器人Webhook地址中加签的值。

  3. 数据分析人员创建报表并进行分析数据。
    配置完成后,您可以创建报表并进行数据分析。即席分析_4.2.1

    请参见新建即席分析

实时加速

通过阿里云DLA(Data Lake Analysis)内存计算引擎,查询时把数据实时加载到DLA中进行计算,提升查询性能,可以把离线型数仓MaxCompute通过实时加速变成在线分析型数仓,从而节约报表的查询时间,提升用户体验。抽取加速有以下特点:
  • 实时加载源数据到Quick引擎中进行内存计算,通常适用于时效性数据,例如小时或分钟粒度的数据。
  • 专业版免费赠送12核48 GB的DLA计算资源。
说明 仅专业版支持实时加速功能,目前覆盖MaxCompute数据源。
  1. 组织管理员开启实时加速功能。
    1. 登录Quick BI控制台
    2. 按照下图指引,开启实时加速。
      详细请参见配置实时加速引擎实时加速
  2. 数据开发人员在目标数据集中,开启并使用实时加速功能。
    1. 在Quick BI首页,按照下图指引,进入数据集管理页面。
      进入数据集
    2. 在数据集列表中,选择目标数据集并配置加速功能。
      实时加速
  3. 数据分析人员创建报表并进行分析数据。
    配置完成后,您可以创建报表并进行数据分析。即席分析_4.2.1

    请参见新建即席分析

查询缓存

数据集缓存机制可以加速报表访问,降低数据库的压力。例如,某个数据集开启缓存后,只要报表被访问过,则在预设的缓存时间内,其他人再访问报表时,系统无需查询即可直接显示报表数据。

结果缓存是一种应用范围很广且非常有效的数据查询加速方式,对一定时间内存在重复查询的数据集都可以配置查询缓存,特别是重复查询较多的场景,例如仪表板展示类,可以大幅提升查询性能。

开启查询结果缓存,可配置不同缓存时间,如果数据是非小时粒度实效性,建议选择12小时。

说明 仅高级版和专业版支持数据集缓存功能,目前覆盖所有支持与Quick BI建立连接的数据源。
  1. 登录Quick BI控制台
  2. 在Quick BI首页,按照下图指引,进入数据集管理页面。
    进入数据集
  3. 在数据集列表中,选择目标数据集并配置缓存时间。
    缓存
    配置不同缓存时间,表示缓存生效的有效期。各版本支持设置的缓存时间如下:
    版本 缓存时间
    高级版 个人空间 5分钟、30分钟、1小时、2小时、4小时、12小时。
    群空间 5分钟、30分钟、1小时、2小时、4小时、12小时。
    专业版 个人空间 5分钟、30分钟、1小时、2小时、4小时、12小时。
    群空间 5分钟、30分钟、1小时、2小时、4小时、12小时、24小时。
    • 超过预设的缓存时间后,缓存失效,此时在报表页面触发查询才会有新的缓存,相同SQL查询语句从缓存中取数。
    • 缓存以数据集为粒度,清理缓存时会清理该数据集关联的所有图表缓存数据。超过预设的缓存时间后,此数据集的所有图表缓存都会被清除。

维值加速

某些维度字段被频繁用于查询控件和即席分析时,您可以为高频字段配置维值加速。例如,您需要查看基于客户名称产品名称查询成交情况,则需要在订单明细表中为客户名称产品名称配置维值加速。

假设这俩字段分别存在于数据库表customer_infoproduct中,对应的字段名称为user_nameproduct_name

配置加速后,进行数据查询时,仅需分别在customer_info中查询user_name的值,以及在product中查询product_name的值,无需通过订单明细表做聚合查询,从而提升查询速度。
说明 仅高级版和专业版支持维值加速功能,目前覆盖所有支持与Quick BI建立连接的数据源。
  1. 登录Quick BI控制台
  2. 在Quick BI首页,按照下图指引,进入数据集管理页面。
    进入数据集
  3. 在数据集列表中,按照下图指引,选择目标数据集并配置维值加速。
    开启维值加速后,假设目标数据集为订单明细表,您需要在仪表板查询基于客户名称产品名称查询成交情况,因此需要为这两个字段配置维值加速。维值加速_4.2.1
    假设客户名称产品名称字段分别存在于数据库表customer_infoproduct中,对应的字段名称为user_nameproduct_name。此时:
    • 数据集维度:分别为客户名称产品名称
    • 配置表:分别为customer_infoproduct
    • 配置表字段:分别为customerproduct_name