配置Quick引擎

为了更好的优化数据集性能,Quick BI推出Quick引擎,Quick引擎支持直连模式、抽取加速、查询缓存和维值加速4种计算模式,本文为您介绍如何配置Quick引擎。

前提条件

已连接目标数据源,请参见连接数据源

如何使用Quick引擎

在正式开始介绍Quick引擎具体用法前,先结合每种计算模式特点给出一个场景使用指南,方便您在不同场景下选择最合适的计算模式。

直连模式

直连模式是Quick引擎查询的默认模式,所有的查询会发送给底层数据库或数仓执行,所有与Quick BI连接的数据库均支持该模式。

  1. 登录Quick BI控制台

  2. Quick BI首页,按照下图指引,进入数据集编辑页面。

    image.png

  3. 在数据集编辑页面创建数据集,请参见创建并管理数据集

    image

    数据集保存后,后续基于该数据集创建的数据分析查询默认直连模式。

抽取加速

当直连模式查询过多或者数据量过大时,会使得数据库负载过重导致查询速度变慢,从而影响仪表板展示和数据分析效率,此时可以考虑Quick引擎的抽取加速。抽取加速有以下特点:

  • 可以周期性抽取数据到Quick引擎中,通常适用于离线型数据,例如天粒度的数据。

  • 支持增量和全量抽取,包含全表抽取和预计算两种模式。

  • 免费赠送抽取空间:

    • 高级版抽取加速容量为2 GB。

    • 专业版抽取加速容量为10 GB。

  • 数据集抽取限制: 单数据集不超过1亿行数据。

  • 支持高级版、专业版抽取加速容量扩容。说明如下:

    • 扩容需以5 GB为单位进行购买(5000元/年),最多可扩容100 GB。

    • 高级版扩容后,如果从高级版升级为专业版,付费扩容的容量不变,免费容量由2 GB变为10 GB。

说明
  • 仅高级版和专业版支持抽取加速功能,支持的数据源请参见数据源功能项列表

  • MaxCompute配置抽取加速时,数据源采用公网方式连接,可能在MaxCompute中产生额外下载费用,建议进入数据源修改数据库地址。

  1. 组织管理员开启抽取加速功能。

    1. 登录Quick BI控制台

    2. 按照下图指引,打开抽取加速开关。

      image

    3. 单击image图标,设置数据集抽取限制。

      说明

      您可以为单数据集设置抽取的最大行数限制,以优化任务执行。请注意,设置后将对组织内所有数据集生效。若行数超过您设定的最大值,会导致抽取任务失败,单数据集最多抽取100000000行。

      image

  2. 数据开发人员在目标数据集中,开启并使用离线加速功能。

    1. Quick BI首页,按照下图指引,进入数据集管理页面。

      image.png

    2. 在数据集列表中,选择目标数据集并单击加速配置

      image

      加速引擎区域,开启Quick引擎后,您需要配置以下参数:

      image

      • 抽取设置

        配置项

        说明

        抽取方式

        支持全表加速预计算两种计算模式。

        • 全表加速,系统会抽取全量的数据并进行加速计算。

          开启后所有查询都可以加速,对于抽取空间有较高要求,如果您的抽取空间足够大,推荐您选择全表加速

        • 预计算,系统会抽取部分数据并进行加速计算。

          开启后,系统会将高频查询结果预先计算好,当用户访问该报表时,便可以快速返回结果。例如,对于有分区的ODPS表,您可以选择预计算方式只抽取一部分,从而节约抽取空间,提高分析效率。

        抽取范围

        支持全表范围指定日期范围进行抽取。

        • 全表范围:全表范围更新,更新方式为全量更新。

        • 指定日期范围更新:支持通过设置日期字段、日期范围更新方式,自定义想要加速的日期范围,Quick引擎将仅保留您选中日期范围内的数据(如近365天),存储容量更节省。

          image

        日期字段

        当抽取范围为指定日期范围更新时,支持设置日期字段。日期字段及其格式,需要与数据库中的字段格式保持一致。

        image

        日期范围

        当抽取范围为指定日期范围更新时,支持设置日期范围。T表示当天抽取的最新分区时间,当天为T-0,昨天为T-1,前天为T-2。

        image

        更新方式

        当抽取范围为全表范围时,默认为全量更新,不支持修改;当抽取范围为指定日期范围更新时,支持设置为全量更新增量更新

        • 全量更新:每次加速将全量抽取选中范围的所有数据。

        • 增量更新:初始化抽取选中范围全量数据,后续每次增量最新N个分区的数据。

        增量更新分区数

        更新方式增量更新时,支持设置增量更新分区数。请确保增量更新分区数在指定日期范围内。

        执行频率

        支持手动触发定时加速两种方式。

        • 选择手动触发,手动触发后,才会进行数据的抽取加速。

        • 选择定时加速,并配置时间后,则每月、每周、每日或每小时会定时进行数据的抽取加速。

        抽取计算字段

        勾选后支持抽取计算字段。

        并发抽取

        勾选后需设置切分键,切分键的字段类型必须是整型数字,建议使用主键或有索引的字段。

      • 异常设置

        说明

        加速任务执行失败后,系统将默认为您重试3次,每次间隔为1小时。

        配置项

        说明

        忽略抽取为空

        开启后,抽取行数为空的任务对应状态将被置为“成功”。

        关闭后,若抽取行数为空,对应任务状态则为“失败”,可触发失败告警,您需及时关注上游数据产出情况。

        失败报警

        当任务执行失败时,您可以配置报警的接收方式和收件人。

        • 接收方式支持钉钉邮箱钉钉群3种方式。

        • 收件人:一次可选择多个收件人,且收件人只能是同组织下的阿里云账户。

          若收件人名称显示灰色,说明该账户没有设置邮箱,请确保收件人已设置好邮箱。配置邮箱的操作请参见收件人邮箱配置

          说明

          仅当接收方式选择钉钉邮箱时,需要配置收件人。

        • 机器人webhook密钥:择接收方式为钉钉群时,需要配置该选项。

          获取机器人Webhook地址请参见如何获取自定义机器人Webhook地址?

          密钥为获取自定义机器人Webhook地址中加签的值。

    3. 单击保存后,Quick引擎加速配置完成。

      您可以对数据集进行重置加速(①)、立即加速(②)、查看日志(③)或修改配置(④)。

      image

      当任务运行中或待运行时,支持终止任务

      image

  3. 组织管理员、空间管理员管理加速任务。具体请参见管理抽取加速任务说明

  4. 数据分析人员创建报表并进行分析数据。

    配置完成后,您可以创建报表并进行数据分析,比如创建即席分析。

    21.gif

    请参见新建即席分析

管理抽取加速任务说明

  • 组织级抽取加速管理界面

    组织管理员开启加速引擎后,可以查看所有开启Quick引擎的数据集,以及任务的运行状态,并对这些任务进行统一管理。

    • 总览

      展示所有开启Quick引擎的数据集所在的工作空间名称和所有者,单击image图标可查看详情

      image

      • 查看详情页面查看对应空间开启Quick引擎的数据集,并支持查看日志终止任务立即加速重置加速修改配置关闭抽取加速

        image

        • 查看日志

          单击查看日志,查看对应数据集运行的日志,包括时间、状态和耗时。

          image

        • 终止任务

          终止后会停止当前数据集的抽取加速任务,并清空当前周期内抽取到的数据。

          image

        • 立即加速

          单击立即加速,对应数据集将会运行加速,此时您也可以终止任务

          image

        • 重置加速

          单击重置加速,对应数据集将会重新加速,此时您也可以终止任务

          image

        • 修改配置

          单击修改配置,将跳转到对应数据集的编辑页面。此时,您可以修改该数据集Quick引擎的配置。

          image

        • 关闭抽取加速

          关闭抽取加速后,将会清除当前数据集历史抽取的数据。

        • 切换工作空间

          在工作空间详情界面,单击空间右边的切换按钮,可切换工作空间查看。

          image

    • 运行列表

      加速引擎的资源是组织共享的,组织内所有的运行任务都会占用引擎资源。该页面展示组织内所有运行中和待运行的任务,方便组织管理员管理所有运行中和待运行的任务。

      • 支持输入数据集名称进行搜索。

        image

      • 支持选择任务状态创建者所属空间筛选运行任务。

        image

      • 支持终止任务修改配置

        image

    • 失败列表

      该页面展示组织内所有运行失败的任务,方便组织管理员管理所有运行失败的任务。

      • 支持输入数据集名称进行搜索。

        image

      • 支持选择任务状态创建者所属空间筛选运行任务。

        image

      • 支持重跑任务查看日志修改配置

        image

空间级抽取加速管理界面

在空间级抽取加速页面,空间管理员可以管控空间内已开启Quick引擎的数据集,管理和调整任务的运行情况。您可以按照图示方式进入空间级抽取加速页面。

image

  • 支持输入数据集名称进行搜索。image

  • 支持选择任务状态创建者筛选数据集任务。

    image

  • 支持查看日志终止任务立即加速重置加速修改配置关闭抽取加速

查询缓存

数据集缓存机制可以加速报表访问,降低数据库的压力。例如,某个数据集开启缓存后,只要报表被访问过,则在预设的缓存时间内,其他人再访问报表时,系统无需查询即可直接显示报表数据。

结果缓存是一种应用范围很广且非常有效的数据查询加速方式,对一定时间内存在重复查询的数据集都可以配置查询缓存,特别是重复查询较多的场景,例如仪表板展示类,可以大幅提升查询性能。

开启查询结果缓存,可配置不同缓存时间,如果数据是非小时粒度实效性,建议选择12小时。

说明

仅高级版和专业版支持数据集缓存功能,目前覆盖所有支持与Quick BI建立连接的数据源。

  1. 登录Quick BI控制台

  2. Quick BI首页,按照下图指引,进入数据集管理页面。

    image.png

  3. 在数据集列表中,选择目标数据集并配置缓存时间。

    image.png

    您可以选择跟随全局缓存策略自定义设置缓存时间。

    1. 新建数据集时缓存配置默认为跟随全局缓存策略,全局缓存策略的配置方式请参见全局缓存配置

      image

    2. 您也可以自定义设置每个数据集的缓存策略。image

      配置不同缓存时间,表示缓存生效的有效期。支持设置的缓存时间为:1分钟、5分钟、30分钟、1小时、2小时、4小时、8小时、12小时、24小时。

      • 超过预设的缓存时间后,缓存失效,此时在报表页面触发查询才会有新的缓存,相同SQL查询语句从缓存中取数。

      • 缓存以数据集为粒度,清理缓存时会清理该数据集关联的所有图表缓存数据。超过预设的缓存时间后,此数据集的所有图表缓存都会被清除。

  4. 单击保存,查询缓存生效。

维值加速

某些维度字段被频繁用于查询控件和即席分析时,您可以为高频字段配置维值加速。例如,您需要查看基于客户名称和产品名称查询成交情况,则需要在订单明细表中为客户名称和产品名称配置维值加速。

假设这俩字段分别存在于数据库表customer_infoproduct中,对应的字段名称为user_nameproduct_name

配置加速后,进行数据查询时,仅需分别在customer_info中查询user_name的值,以及在product中查询product_name的值,无需通过订单明细表做聚合查询,从而提升查询速度。

说明

仅高级版和专业版支持维值加速功能,目前覆盖所有支持与Quick BI建立连接的数据源。

  1. 登录Quick BI控制台

  2. Quick BI首页,按照下图指引,进入数据集管理页面。

    image.png

  3. 在数据集列表中,按照下图指引,选择目标数据集并配置维值加速。

    image.png

    开启维值加速后,假设目标数据集为订单明细表,您需要在仪表板查询基于客户名称和产品名称查询成交情况,因此需要为这两个字段配置维值加速。

    image

    假设客户名称和产品名称字段分别存在于数据库表customer_infoproduct中,对应的字段名称为user_nameproduct_name。此时:

    • 数据集维度:分别为客户名称和产品名称。

    • 配置表:分别为customer_infoproduct

    • 配置表字段:分别为customerproduct_name

全局缓存配置

高级版和专业版的组织管理员支持配置全局缓存策略。新组织默认关闭全局缓存。

  1. 您可以按照图示方式进入全局缓存配置。

    image

  2. 当选择开启全局缓存(①)后,您可以设置相同查询直接返回缓存结果间隔时间(②)和自动清除时间(③)。

    image

    说明

    相同查询直接返回缓存结果的间隔时间支持选择1分钟、5分钟、30分钟、1小时、2小时、4小时、8小时、12小时和24小时。

    自动清除时间为每隔半小时

  3. 单击更新配置,保存配置结果。