如何分析数据分布不均衡
问题分析 数据倾斜问题，DRDS模式数据库可按照分库级、分表级的方式进行分析。AUTO模式数据库可按照分区级别进行排查。分库级别的数据倾斜 执行 show db status 语句，能够显示当前数据库中的所有物理库的数据大小，部分参数说明如下：...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
Presto概述
应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品，因为其对事务支持有限，所以不适合在线...
自建数据源Kylin
背景信息 Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据查询。关于更多信息，请参见 Kylin。操作步骤 登录 Quick BI控制台。请按照下述步骤添加数据...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-...
Bucket Shuffle Join
如果Join语句命中了表的数据分布列，则应该使用数据分布信息来减少Join语句的网络与内存开销，这就是Bucket Shuffle Join的思路来源。上图展示了Bucket Shuffle Join的工作原理。在SQL语句中，A表与B表进行了Join操作，并且Join的等值表达...
产品简介
客户不仅能够对阿里云OSS、PolarDB、Lindorm（HBase）中的数据进行分析，还能将这两者之间的数据进行关联性分析，解决了客户需要将不同种类的数据进行联合分析的问题。开通DLA Ganos 创建虚拟集群，详情请参见 虚拟集群管理。在创建好的...
数据分析概述
允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的引擎自带数据源，一部分是自建数据源。在SQL查询中可预览数据集中的数据，并快速生成该表的查询SQL语句，详情请参见 SQL查询。电子表格 电子表格是...
数据分析：即时快速分析
计费 DataWorks的数据分析功能不收取功能费用，您开通DataWorks后即可使用数据分析功能，但不同版本的DataWorks支持的数据分析功能细节不一致，详情请参见 DataWorks各版本详解。开通使用 购买DataWorks版本后，您即可登录DataWorks控制台...
常见术语
数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
Quick BI如何接入TSDB
本文为您介绍Quick BI如何接入TSDB。Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。...添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取、联动、跳转。
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
账单数据订阅及查询分析
步骤二：订阅账单数据 在 大数据分析>数据订阅管理 区域，根据需要订阅相应账单数据，订阅后，相关账单数据会同步至指定的MaxCompute表。说明 该操作需要当前登录账号为账单分析指定的DataWorks工作空间（即步骤一中，由平台统一创建的工作...
Sugar BI连接MaxCompute
Sugar BI是百度智能云...步骤三：可视化数据分析 在Sugar BI控制台，您可以基于新创建的数据源、数据模型，查询MaxCompute项目数据及分析数据。例如您可以进行制作报表、制作可视化大屏等操作，操作详细指导请参见 制作报表、制作大屏 等。
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
功能特性
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。概述 实时数据湖 基于DLA ...
使用DataWorks连接
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
即席分析概述
操作流程 新建即席分析后，您可以进行以下操作：新建即席分析：当您的数据复杂多变，每天都需要不同组合场景的数据时，您可以借助即席分析的能力来实现灵活的看数、取数。数据选择：在即席分析中，选择数据集及字段，完成基础的分析取数。...
通过Quick BI连接StarRocks实例
添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB 版 实例，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请...
Cassandra数据建模
Designing for optimal storage：关系型数据库表如何存储是对用户透明的，但是Cassandra的建模需要考虑到数据在磁盘上的存储规则，需要尽量让数据分布的partition少。Sorting is a design decision：查询上的排序是在建表时候设定好的。...
分析实例简介
分析实例类型 RDS MySQL的分析实例分为以下两种类型：云ClickHouse分析实例 云ClickHouse分析实例本质是云数据库ClickHouse实例，其通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到云数据库ClickHouse中，并利用其强大的分析性能...
云产品集成
背景信息 云数据库 OceanBase 对接了多个阿里云常用云产品，您可以通过这些产品进行数据可视化、数据分析、数据同步等操作。常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI ...
查询概述
通过支持数据可视化集成，SelectDB可与MySQL生态兼容的可视化工具进行无缝对接，大幅提升数据开发、可视化分析的效率。有关SelectDB支持的完整集成列表及其详细介绍，请参见 生态集成 章节相关内容。数据类型 SelectDB在 数据类型支持方面...
报表中心
告警对象分析 规则命中分析 客户端工具分析 数据库账号分析 数据库/SID分析 数据库访问来源IP分析 审计趋势分析 执行次数最多SQL模板分析 报表格式 选择要订阅的报表的格式，取值：HTML PDF PNG WORD 资产 选择要订阅报表的数据库资产和...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
快捷入口
最近分析 登录 可视分析创作间，在 开始 页的 最近分析 模块下，可以直接查看和编辑最近分析的数据集。我的卡片 登录 可视分析创作间，在 开始 页的 我的卡片 模块下，可以直接查看和编辑通过最近分析的数据集智能生成的卡片。我的作品 ...
湖仓一体
为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接数据湖、数据库等外部数据源，进行简单快速地数据分析。Multi-Catalog功能在原有元数据层级之上新增一层Catalog，构成...
数据节点管理
对于每个DN节点，由于数据分布的不同，实际对资源的需求也有区别。PolarDB-X 支持针对每个DN节点单独升降配，提升整体的资源利用率。注意事项 存储资源池功能需要 PolarDB-X 版本不低于V5.4.18-17066805。低版本实例升级到V5.4.18-17066805...
通过仪表板分析数据
步骤二：数据建模 连通数据源后，当需要分析的数据存储在不同的表，您可以通过数据关联，把多个表连接起来，形成模型进行数据分析。步骤三：数据可视化分析 您可以通过创建仪表板，添加不同的图表来展示数据，并通过联动进行数据可视化分析...
Quick引擎概述
Quick BI自研的计算内核Quick引擎，托管在阿里云上的SAAS服务实测数据十亿级数据在0.5秒以内完成聚合分析，另外由于依托阿里云，计算资源支持横向扩展，通过增加服务器还可以提供更强大的数据分析计算能力。为什么设计一个新的Quick引擎 ...
敏感数据保护概览
功能特性 提供敏感数据资产大盘，解决企业敏感数据分布的统一纳管问题。数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，解决企业资产中的敏感数据及时发现、有效管理的问题。内置和自定义分类...
教程概述
本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
概述
下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户余额表，该表的数据分布在两个数据节点中，总的账户金额是200元。业务持续地使用分布式事务在不同的账号间进行转账。某一时刻（2021-07-25 16:14:20），账户B向...
- 产品推荐
- 这些文档可能帮助您