Quick引擎概述

为什么设计一个新的Quick引擎

随着数字化进程的深入，数据应用的价值被越来越多的企业所重视。基于数据进行决策分析是应用价值体现的重要场景，不同行业和体量的公司广泛依赖BI产品制作报表、仪表板和数据门户，以此进行决策分析。

在利用BI产品进行数据分析过程中，数据处理“慢”会为业务带来很多的困扰，可以想象一下：

• 给老板看的报表加载展示非常慢，有的时候还会崩掉，本想做好向上汇报，但却给老板带来了糟糕的体验。

• 分析师或业务同学，做数据探索式分析，拖拽一个指标需要几分钟才能看到结果，严重影响工作效率，打断分析思路。

“慢”虽然只是一种难以精确定义的体感，但想要解决以上问题，就需要BI产品拥有很强的大数据处理架构和能力，可以横向扩展支持不断增长的数据量和计算任务。

Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放到数据源上的查询，在技术实现上Quick引擎分为三条链路，数据库直连模式、数据库抽取模式和智能缓存，在这三条链路进行了技术层抽象。

多模式BI计算引擎

Quick引擎作为Quick BI的计算底座，是一个多模式的BI计算引擎，支持数据库直接连接、抽取加速、查询缓存、维值加速等多种计算模式，为不同用户提供最适合自身场景的高效计算方案。

从Quick BI产品使用链路上，分为数据源、数据集和数据作品三部分。数据源是底层的数据库连接，数据集用于对数据源里的表进行建模（表关联、字段类型建模等），把一张或多张表变成一个上层数据作品（仪表板、电子表格、即席分析）可用的数据对象。

针对不同的场景，Quick引擎提供如下几种计算模式：

• 直连模式：计算负载直接跑在连接到BI产品的数据库或数仓上，支持几十种数据源，所有版本用户都可使用，非常适用于底层计算资源满足查询负载的场景。

• 抽取加速：把用户数据库或数仓的数据抽取到Quick引擎的高性能列式存储引擎中，支持全量模式和增量模式，分析计算负载直接跑在Quick引擎中，充分利用Quick引擎性能的同时，减少用户数仓的负担，高级版和专业版用户可用，非常适用于企业没有独立数仓或数仓负载过重的情况。

• 查询缓存：所有版本用户可用，应用端报表、仪表板在访问时临时查询结果被缓存下来，在配置的缓存有效时间内，接下来其他用户相同的查询直接取缓存结果，加快返回速度同时避免重复计算的资源消耗，非常适合应用端是重复查询较多的场景，例如可视化展示类。

• 维值加速：所有版本用户可用，基于直连模式和维表配置实现，通过配置维值加速，使得高频且耗时的维度字段查询计算直接在数据库维表上进行，而不是在原始的明细表上进行，例如即席分析和查询控件的维值查询，在这类场景下相比不进行维值加速可快速返回结果且节省计算资源。

如何使用Quick引擎