EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
AnalyticDB MySQL助力Flowerplus业务高速发展
由此可见，Flowerplus对大数据分析的实时性要求较高，而传统的MySQL数据库无法满足这一需求。复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
通用数据开发
数据分析与处理：完成数据的同步后，可以对MaxCompute中的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。数据提取：分析与处理后的结果数据，需要同步导出至业务系统，以供...
账单数据订阅及查询分析
步骤二：订阅账单数据 在 大数据分析>数据订阅管理 区域，根据需要订阅相应账单数据，订阅后，相关账单数据会同步至指定的MaxCompute表。说明 该操作需要当前登录账号为账单分析指定的DataWorks工作空间（即步骤一中，由平台统一创建的工作...
产品优势
协同分析 数据洞察Notebook为大数据分析提供了可视化、交互式的平台。用户可以在Notebook中编辑、执行、查看Spark作业。不同角色的用户可以共享集群资源和Notebook内容，协同合作。数据共享 Databricks数据洞察采用数据湖分析的架构设计，...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
快速入门
产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash ...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
读写RDS MySQL数据
DLA支持连接RDS（MySQL、SQLServer、PostgreSQL）数据源，然后通过SQL语法查询和分析RDS数据，同时支持将分析结果回写入RDS。本文以RDS MySQL为例介绍如何通过DLA读写RDS数据。注意事项 如果您的RDS实例位于VPC网络内，默认情况下DLA无法...
Flink VVP+DLF数据入湖与分析实践
并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案具体步骤。背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
MaxCompute账单用量明细分析
背景信息 MaxCompute是一款大数据分析平台，其计算资源的计费方式分为包年包月和按量付费两种。MaxCompute每天以项目为维度进行计费，账单会在第二天06:00前生成。更多MaxCompute计量计费信息，请参见 计费项与计费方式概述。MaxCompute会...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
基于MaxCompute进行大数据BI分析
方案优势 以AnalyticDB MySQL配合Quick BI快速、实时分析数据的核心能力为切入点，引导用户同步业务数据、日志数据至阿里云的分析型数据库。融合阿里云的日志服务的生态，增强用户体验。例如，无缝对接Blink、Elasticsearch、AnalyticDB ...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
功能优势
易用性 分析型数据库MySQL版向量分析申请即可使用，支持标准SQL，简化开发流程。同时，分析型数据库MySQL版向量分析内置常用特征提取和属性提取，也支持集成第三方特征提取服务。高维向量数据的高准度和高性能 分析型数据库MySQL版向量分析...
Quick引擎概述
Quick BI自研的计算内核Quick引擎，托管在阿里云上的SAAS服务实测数据十亿级数据在0.5秒以内完成聚合分析，另外由于依托阿里云，计算资源支持横向扩展，通过增加服务器还可以提供更强大的数据分析计算能力。为什么设计一个新的Quick引擎 ...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆...通过APP->Lindorm->LTS实时归档->parquet列存（Lindorm HDFS）->DLA Spark分析->bulkload->Lindorm这样一条链路形成了数据存储、实时归档、分析、数据回流、分析后数据查询的全链路数据闭环，满足业务发展的诉求。
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
查看报表
从敏感数据态势、安全审计趋势、敏感数据保护、安全事件告警和数据风险评估五个维度针对您的数据库资产制定关于《数据安全法》的符合性报告，可以帮助管理人员、数据安全负责人、数据安全管理员掌握数据整体情况和增长趋势，及时发现各种...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
我是安全管理员
数据分析 数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。数据服务 数据服务提供最小粒度数据输出、可视化制作、云市场售卖等功能。安全与规范 操作日志 操作日志中保存了数据变更...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
行业算法模型介绍
swing 即基于Swing的i2i算法，Swing是一种基于图结构计算商品相似度的算法,以高维的网络结构向二跳节点扩展，抗噪能力强，相比传统的CF准确性有较大的提升。相对于基准基于物品协同过滤更聚焦于找相似、找同款，更关注相关性，但计算复杂度...
元数据抽取
元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据湖分析计算shema on read目标。使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
基础分析
基础分析数据维度 在基础分析功能中系统支持以时间维度、技能组、对话轮次和和自定义数据维度进行分析。通话内容分布 通话内容分布是分析呼叫中心呼入电话内容的业务情况，并展示各个通话中涉及到的各项业务占比。分析时以用户定义的业务...
- 产品推荐
- 这些文档可能帮助您