大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
基于Delta lake的一站式数据湖构建与分析实战
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
IoT数据自动化同步至云端解决方案
物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
读写RDS MySQL数据
因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
2020年
MaxCompute Web控制台支持以STS访问认证，使用RAM角色在Web控制台操作访问MaxCompute项目空间，进行数据分析、数据开发。用户认证 用户规划与管理 2020-11-17 新增Python UDF使用第三方包操作指导。新说明 MaxCompute支持您在Python UDF中...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
技术原理
以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。对于用户来说，通常无需关心具体的数据分布，PolarDB-X的分布式SQL层将会自动完成查询路由、...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB 版 实例，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请...
DataV
DataV数据可视化是使用可视化大屏的方式来分析并展示庞杂数据的产品，您可以在DataV中新建 AnalyticDB MySQL 数据源，通过DataV对 AnalyticDB MySQL 数据进行可视化分析。在DataV中新建AnalyticDB MySQL数据源 登录 DataV控制台。选择 我的...
通用数据开发
数据分析与处理：完成数据的同步后，可以对MaxCompute中的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。数据提取：分析与处理后的结果数据，需要同步导出至业务系统，以供...
数据可视化展现
即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行可视化与分析，具体分析场景如下：场景 图示 城市注册人数排行榜分析 注册会员访问次数年龄分布 注册会员访问次数性别分布 ...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
数据可视化展现
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
查看报表
等保参考分析报告 根据当前信息安全技术网络安全等级保护评测要求GB/T 28448-2019（简称等级保护2.0），针对等级保护2.0中关注的安全审计中的入侵防范、恶意代码监控、安全审计监控等进行针对性的数据分析和展示。数据安全法报告 从敏感...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
产品优势
全托管的Databricks数据洞察大数据分析平台，可以让您从繁杂的环境运维、内核优化等工作中解脱出来，专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...
Quick BI如何接入TSDB
连入成功后，您可以在Quick BI上进行数据的分析与展示。前提条件 已创建阿里云时间序列数据库实例。背景信息 为避免因数据源白名单限制导致数据对接访问失败，您需将Quick BI不同网络环境下的IP地址段添加至数据源的白名单中，更多对接配置...
漏斗图
BI分析数据配置面板中的详细操作说明，请参见 BI分析模式数据面板功能介绍。配置字段说明 字段 说明 类 用于配置漏斗图中每个梯形块的类目。值 用于配置漏斗图中每个梯形块的值。分类 可选，漏斗图的不同系列分类的数据。说明 通过BI分析...
数据使用诊断
处理建议 您可以根据所给的建议，进行敏感数据规则设置，以便全面掌握敏感数据分布情况，保护敏感数据的安全。诊断详情列表 数据安全防护诊断 帮助您提升敏感数据的安全性。安全检测维度 安全检测项 检测对象 检测方式 敏感数据保护 数据...
管理数据集
注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据集。创建数据集 方式一：通过控制台顶部菜单栏操作创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
- 产品推荐
- 这些文档可能帮助您