通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
Quick BI如何接入TSDB
Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在...
Github实时数据同步与分析
实时数据分析与可视化 实时数据分析。进入 HoloWeb SQL编辑器，查询实时更新的过去24小时GitHub最活跃项目。SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=now()-...
Quick BI连接MaxCompute
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
物联网设备数据上云存储
业务基于 TSDB 进行数据分析、监控和大数据分析。物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
我是普通用户
SQLConsole SQL窗口 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。库表结构 结构设计 ...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
基础分析
基础分析数据维度 在基础分析功能中系统支持以时间维度、技能组、对话轮次和和自定义数据维度进行分析。通话内容分布 通话内容分布是分析呼叫中心呼入电话内容的业务情况，并展示各个通话中涉及到的各项业务占比。分析时以用户定义的业务...
应用场景
而智能质检通过对客服的通话记录识别成文本进行大数据分析，可以极大的提高质检覆盖率（达到100%），并减少人工成本。保险行业 在保险行业中，阿里云智能质检凭借强大的技术实力，迅速在行业中树立起标杆客户；例如：平安产险的金牌话术...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
读写RDS MySQL数据
因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
背景信息以及准备工作
与使用传统数据库加DataV构建大屏相比，在绝大部分频率较低的数据刷新业务大屏场景下，DataV+DLA+OSS的方式远比DataV+传统数据库的成本低。实施方案 实际应用中DataV+DLA+OSS的搭配使用有以下两种方案。DLA+OSS+DataV 业务应用程序产出的...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
后续指引
开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表...
云数据源Data Lake Analytics
添加Data Lake Analytics数据源用于连通阿里云Data Lake Analytics数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云Data Lake Analytics，本文为您介绍如何添加阿里云Data Lake ...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
云数据源AnalyticDB for MySQL 2.0
添加AnalyticDB for MySQL 2.0数据源用于连通阿里云AnalyticDB for MySQL 2.0数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云AnalyticDB for MySQL 2.0，本文为您介绍如何添加阿里云...
通过Quick BI连接StarRocks实例
添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝...
云数据源Alibaba LindormTSDB
添加LindormTSDB数据源用于连通阿里云数据库LindormTSDB与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云数据库LindormTSDB，本文为您介绍如何添加阿里云LindormTSDB数据源。前提条件 已...
数据传输与迁移概述
类型 典型场景 数仓管理员对数据进行预览 DataWorks-数据分析、数据管理、数据开发调度（数据通道）。Kettle。商业智能，制作报表，看板 Quick BI。Superset。离线数据批量数据读取（外部表-湖仓一体）场景特征：主要用于数据联邦查询分析...
云数据源对象存储OSS
添加对象存储OSS数据源用于连通阿里云对象存储OSS与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网的方式连接阿里云OSS，本文为您介绍如何添加阿里云OSS数据源。前提条件 已开通阿里云OSS服务并创建...
云数据源Alibaba OceanBase
添加OceanBase数据源用于连通阿里云OceanBase数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网或阿里云VPC的方式连接阿里云OceanBase，本文为您介绍如何添加阿里云OceanBase。前提条件 已创建...
云数据源MaxCompute
添加MaxCompute数据源用于连通阿里云MaxCompute数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云MaxCompute，本文为您介绍如何添加阿里云MaxCompute数据源。前提条件 已创建阿里云...
云数据源PolarDB for PostgreSQL
添加PolarDB for PostgreSQL数据源用于连通阿里云PolarDB for PostgreSQL数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网或阿里云VPC的方式连接阿里云PolarDB for PostgreSQL，本文为您介绍...
华为云数据源GaussDB
添加Huawei GaussDB数据源用于连通Huawei GaussDB数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何添加Huawei GaussDBL数据源。前提条件 已创建Huawei GaussDB数据库。操作步骤 添加白名单。连接...
云数据源Alibaba Lindorm宽表
添加Alibaba Lindorm宽表数据源用于连通阿里云数据库Alibaba Lindorm宽表与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云数据库Alibaba Lindorm宽表，本文为您介绍如何添加阿里云Alibaba ...
自建数据源达梦
添加达梦数据源用于连通达梦数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网或阿里云VPC的方式连接达梦数据库，本文为您介绍如何添加达梦自建数据源。前提条件 请确保您的网络连通性：您通过...
Notebook概述
可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以在Dataphin Notebook中便捷地进行数据查询与分析。可快速切换运行项目。如您不在任何项目中，您也可以使用已绑定...
数据分析整体趋势
计算分析一体化：传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统，有些可以做到准实时同步。该方案带来的问题是部署复杂，实时性低，数据冗余和高成本。理想情况是一套HTAP系统同时提供计算和分析。大数据与数据库一体化：早期大...
创建实例
通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。操作步骤 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...
使用流程
可选：应用评估改造：帮助用户分析应用与数据库的关联关系，并分析从源库迁移到目标库的应用改造点与改造位置，同时，也可减少使用Java开发的部分业务的改造工作量。1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 ...
微软云数据源MySQL
添加MySQL数据源用于连通微软云MySQL数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何添加微软云MySQL数据源。前提条件 已创建微软云MySQL数据库。使用限制 支持5.5、5.6、5.7、8.0版本。操作步骤...
AWS数据源MySQL
添加MySQL数据源用于连通AWS_MySQL数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何添加AWS_MySQL数据源。使用限制 支持5.5、5.6、5.7、8.0版本。操作步骤 添加白名单。连接AWSMySQL之前，需要将 ...
- 产品推荐
- 这些文档可能帮助您