Quick BI中如何实现数据量很大日增超过百万的数据分析

概述

本文档提供数据库数据量很大超过千万日增数据量的场景下，Quick BI报表加载很慢，超过十几分钟都加载不出来的问题的解决方案和思路。

问题描述

• 客户的数据分析基本都是基于上千万条的数据量，有的可能过亿，日增也是百万以上。对于这样的数据集加速缓存可以解决吗？加速缓存这块有没有定时任务的功能？
  客户生成数据集，并进行报表分析，发现数据量加载很慢，十几分钟都不会返回数据。之前试用过一个永洪BI系统，可以将数据抽取到内置的mpp数据库中，支持定时任务增量抽取。数据抽取后可以在系统中进行计算，并支持数据分析的加速。
• 想确认Quick BI里面的缓存是不是可以实现相同的功能，缓存之后的数据集进行关联过滤时计算任务还会不会下推到数据源？
  能不能在数据库和BI之间加一个缓存计算层，将大数据计算推到计算层处理。数据库现在压力有点大，防止Quick BI连上后业务人员直接操作会影响正常的加工作业。

问题原因

数据量太大数据集的加速缓存功能无法满足需求，需要别的方案。

解决方案

Quick BI里面的缓存功能指的是结果缓存，就是已经查询过的报表可以直接返回结果不会查询数据源。如果数据库是MySQL的话，DLA里面有一个一键入湖的功能可以把数据抽取到MPP数据库里面，然后可以在Quick BI里面配置DLA数据源。再基于DLA数据源分析即可。目前入湖功能还不支持db2。对于客户提到的在BI和数据库之间加一层计算层的问题，可以参考高效分析处理数据解决方案。

适用于

• Quick BI
• 数据集、仪表板