基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您...相关文档 大数据分析工具的常见问题和解决方法，详情请参见 大数据分析工具的常见问题和解决方法。
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
快速入门
产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash ...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
装饰条
默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成BI分析模式组件，组件数据面板变为 分析模式。...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
iframe
默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成BI分析模式组件，组件数据面板变为 分析模式。...
萤石云播放器
默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成BI分析模式组件，组件数据面板变为 分析模式。...
RTMP视频流播放器
默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成BI分析模式组件，组件数据面板变为 分析模式。...
读写RDS MySQL数据
因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
联系我们
Quick BI试用群 如果您申请Quick BI试用版，或者购买Quick BI个人版，使用Quick BI进行数据分析的过程中有任何疑问或建议，您可以搜索钉钉群号 33507864 加入钉钉群进行反馈。Quick BI在线咨询 Quick BI产品服务团队提供在线咨询。购买产品...
应用场景
这些服务都具有高效的数据压缩、列式存储和并行查询等特性，使其在大数据分析场景中表现出色。可以用于用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
Yonghong BI连接MaxCompute
背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于本机安装，省去繁琐的部署环节，即装即用。提供一站式、敏捷、高效的数据治理、可视化分析及AI深度分析能力，可以帮助每一位用户轻松实现数据分析和数据可视化工作。更多...
云数据源Alibaba LindormTSDB
背景信息 如果您使用的是阿里云数据库LindormTSDB，在对接Quick BI进行数据分析时，可以添加云数据源LindormTSDB。为避免因数据源白名单限制导致数据对接访问失败，您需将Quick BI不同网络环境下的IP地址段添加至数据源的白名单中，更多...
云数据源Data Lake Analytics
背景信息 如果您使用的是阿里云Data Lake Analytics数据库，在对接Quick BI进行数据分析时，可以添加云数据源Data Lake Analytics，Data Lake Analytics的详情请参见 什么是云原生数据湖分析。使用限制 仅支持空间管理员和开发者的账号添加...
云数据源对象存储OSS
背景信息 如果您使用的是阿里云OSS数据库，在对接Quick BI进行数据分析时，可以添加云数据源OSS，OSS的详情请参见 什么是对象存储OSS。使用限制 仅支持空间管理员和开发者的账号添加数据源。仅专业版和高级版的群空间支持新建OSS数据源。...
云数据源MaxCompute
背景信息 如果您使用的是阿里云MaxCompute数据仓库，在对接Quick BI进行数据分析时，可以添加MaxCompute云数据源，MaxCompute的详情请参见 什么是MaxCompute。使用限制 仅支持空间管理员和开发者的账号添加数据源。操作步骤 登录 Quick BI...
云数据源AnalyticDB for MySQL 2.0
如果您使用的是云原生数仓AnalyticDB MySQL 2.0，在对接Quick BI进行数据分析时，可以添加AnalyticDB for MySQL 2.0云数据源，AnalyticDB MySQL的详情请参见 云原生数据仓库AnalyticDB MySQL。使用限制 仅支持空间管理员和开发者的账号添加...
云数据源Alibaba Lindorm宽表
背景信息 如果您使用的是阿里云数据库Alibaba Lindorm宽表，在对接Quick BI进行数据分析时，可以添加云数据源Alibaba Lindorm宽表。为避免因数据源白名单限制导致数据对接访问失败，您需将Quick BI不同网络环境下的IP地址段添加至数据源的...
阿里云数据源ClickHouse
背景信息 如果您使用的是阿里云ClickHouse数据库，在对接Quick BI进行数据分析时，可以添加云数据源ClickHouse。ClickHouse云数据源与Quick BI对接时，数据连通、访问的网络类型支持使用公网或者阿里云VPC两种类型，不同类型的网络连通方式...
阿里云数据源PostgreSQL
背景信息 如果您使用的是阿里云PostgreSQL数据库，在对接Quick BI进行数据分析时，可以添加云数据源PostgreSQL。PostgreSQL云数据源与Quick BI对接时，数据连通、访问的网络类型支持使用公网或者阿里云VPC两种类型，不同类型的网络连通方式...
云数据源AnalyticDB for PostgreSQL
背景信息 如果您使用的是PostgreSQL引擎的AnalyticDB数据库（即，AnalyticDB for PostgreSQL），在对接Quick BI进行数据分析时，可以添加云数据源AnalyticDB for PostgreSQL。AnalyticDB for PostgreSQL云数据源与Quick BI对接时，数据连通...
云数据源Alibaba OceanBase
背景信息 如果您使用的是阿里云OceanBase数据库，在对接Quick BI进行数据分析时，可以添加OceanBase云数据源，阿里云OceanBase的详情请参见 云数据库OceanBase。OceanBase云数据源与Quick BI对接时，数据连通、访问的网络类型支持使用公网...
阿里云数据源Hologres
如果您使用的是阿里云Hologres数据库，在对接Quick BI进行数据分析时，可以添加云数据源Hologres，Hologres的详情请参见 什么是实时数仓Hologres。为避免因数据源白名单限制导致数据对接访问失败，您需将Quick BI不同网络环境下的IP地址段...
云数据源PolarDB for PostgreSQL
背景信息 如果您使用的是PostgreSQL引擎的PolarDB数据库（即，PolarDB for PostgreSQL），在对接Quick BI进行数据分析时，可以添加云数据源PolarDB for PostgreSQL，PolarDB PostgreSQL的详情请参见 云原生关系型数据库 PolarDB PostgreSQL...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
云数据源PolarDB for MySQL
背景信息 如果您使用的是MySQL引擎的PolarDB数据库（即，PolarDB for MySQL），在对接Quick BI进行数据分析时，可以添加云数据源PolarDB for MySQL，PolarDB MySQL的详情请参见 什么是PolarDB。PolarDB for MySQL云数据源与Quick BI对接时...
- 产品推荐
- 这些文档可能帮助您