QuickBI中如何实现数据量很大日增超过百万的数据分析

产品名称

QuickBI

产品模块

数据集  仪表板

概述

本文档提供数据库数据量很大超过千万日增数据量很大的场景下,qbi报表加载很慢,超过十几分钟都加载不出来的问题的解决方案和思路

问题描述

客户的数据分析基本都是基于上千万条的数据量,有的可能过亿,日增也是百万以上。对于这样的数据集加速缓存可以解决吗?加速缓存这块有没定时任务什么的?客户生成数据集,并进行报表分析,发现数据量加载很慢,十几分钟都不会返回数据。之前试用过一个永洪BI系统,可以将数据抽取到内置的mpp数据库中,支持定时任务增量抽取。数据抽取后可以在系统中进行计算,并支持数据分析的加速。
想确认QBI里面的缓存是不是可以实现相同的功能,缓存之后的数据集进行关联过滤时计算任务还会不会下推到数据源?能不能在数据库和BI之间加一个缓存计算层,将数据大数据计算推到计算层处理。数据库现在压力有点大,怕BI连上后业务人员直接操作会影响正常的加工作业。

问题原因

数据量太大数据集的加速缓存功能无法满足需求,需要别的方案。

解决方案

QBI里面的缓存功能指的是结果缓存,就是已经查询过的报表可以直接返回结果不会查询数据源。如果数据库是mysql的话,DLA里面有一个一键入湖的功能可以把数据抽取到MPP数据库里面,然后可以在QBI里面配置DLA数据源。然后基于DLA数据源分析即可。目前入湖功能还不支持db2。对于客户提到的在BI和数据库之间加一层计算层的想法,可以参考搞笑分析处理数据解决方案,具体如相关文档的链接。

更多信息

相关文档

高效分析处理数据解决方案:https://www.aliyun.com/activity/qy/new-enterprise-new?spm=5176.19720258.J_5435370490.3.e9392c4aJmzWq9&scene=qiyeshuju-dsjjs