产品简介
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
互联网金融
架构优势：便捷的架构部署 云产品弹性升级扩容 完善的同城高可用设计 强大抗DDoS攻击能力 互联网金融安全方案 搭建成熟稳定的安全体系适用于发展中的互联网金融公司，可保障网络安全、主机安全、移动安全，并结合安全大数据分析技术对未知...
产品架构
更进一步，技术碎片化导致技术架构割裂，不利于技术架构的演进和发展，最终导致技术架构无法跟进业务前进的步伐。举个简单的例子，当业务发展，需要支持跨可用区高可用、全球同步或者降低存储成本时，各技术组件都需要独立演进和发展，耗时...
Serverless Spark概述
解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、Serverless、云原生技术，深度整合到一起，相对于传统开源Spark集群版方案，具体以下...
互联网行业实时BI分析
本文以某互联网公司为例，介绍如何将DB...客户价值 1小时短平快即可实现实时数据分析平台建设，无需掌握Hadoop\Spark\Flink\Presto\Impala等复杂的大数据技术。操作简单快捷，全程拖拽式配置，无需编码。业务实时指标数据延时在1分钟以内。
产品整体介绍
技术架构 以下为 AnalyticDB PostgreSQL版 的架构图，主要包含Master Node和Compute Node两大组件，中间通过Interconnect进行互联通信和数据交换传输。Master Node和Compute Node提供多副本保障服务高可用和数据高可靠，同时均支持通过...
技术架构选型
完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
技术架构选型
完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业...架构图 方案详情 详情请参见 E-MapReduce弹性低成本离线大数据分析最佳实践。icmsDocProps={'productMethod':'created','language':'zh-CN',};
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
亿海蓝-航运大数据的可视化案例
整体系统架构方案如下图所示：航运数据可视化分析系统架构图如下：业务价值 通过阿里云产品的支持，缩短了业务的技术实现周期，降低了运维投入。Ganos on Lindorm高性能查询指标满足了业务上低延迟流畅显示的要求。不同于轨迹数据，航线...
金融大数据
架构优势：合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明：阿里云大数据数据仓库解决方案经历了阿里巴巴集团内部的实战验证，完全基于自主研发，且在不断优化、完善，以...
技术架构选型
完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心...
客户案例
客户需求 如架构图所示，MaxCompute和EMR不同引擎用于不同的业务场景，使用阿里云数据湖构建DLF统一做元数据管理和统一用户权限管理。通过DataWorks进行全链路数据治理，提升数据质量与应用能力。价值体现 将EMR的元数据统一到DLF，底层...
Doris概述
统一数仓构建：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、...
方案背景
背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一，而通过电商大屏可以实现数据分析和可视化的完美结合。电商大屏中包含全量订单和实时订单的...
功能概述
向量分析继承了分析型数据库MySQL版的MPP查询架构以及全索引结构，通过SIMD指令加速、高效索引算法、混合检索CBO策略以及低成本存储技术，帮助您实现高性能、低成本的非结构化数据近似查询和分析。典型应用场景 通过分析型数据库MySQL版...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
方案背景
数据分析：对车辆历史数据进行聚合分析，例如分析全市所有车辆一年内的平均排放值、分析某厂商生产的车辆的平均里程数等，需要支持高性能、简单易用的数据分析能力。样例场景 某厂商负责全市的出租车运营，为了方便的管理和运营车辆，厂商...
Quick引擎概述
Quick引擎架构图 从Quick BI产品使用链路上，分为数据源、数据集和数据作品三部分。数据源是底层的数据库连接，数据集用于对数据源里的表进行建模（表关联、字段类型建模等），把一张或多张表变成一个上层数据作品（仪表板、电子表格、即席...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
DBS沙箱功能概览
DBS沙箱方案包含了多项业界先进的备份技术，整体技术架构如下图所示。功能优势 数据库物理备份技术：面向数据库文件的备份，大幅提升备份恢复速度。重复数据删除技术：大幅降低用户备份数据的存储成本。存储快照和克隆技术：无数据拷贝，让...
数据科学计算概述
架构图如下所示：MaxFrame核心功能如下：MaxCompute Python生态统一入口 统一MaxCompute Python生态开发接口，通过一套Python Code完成数据分析、开发以及数据挖掘、建模全生命周期。兼容及分布式化 完全兼容Pandas接口，且进行分布式化，...
列存索引（IMCI）发布说明
技术原理 列存索引特性在 PolarDB MySQL版 中的功能架构图如下：从以上架构图可以看到，PolarDB MySQL版 从存储引擎、执行算子、优化器三个层面设计了列存索引的特性：存储引擎：支持实时事务级别一致性的行列混合存储；执行算子：面向列存...
什么是架构感知
AHAS的架构感知模块能够自动识别并分析在阿里云上部署的应用程序和服务的架构，通过收集和处理数据，构建系统架构图。您可以更加直观的了解架构的组成以及架构组件间的依赖关系。架构和架构组件 为了更好地理解AHAS提供的架构感知模块，您...
概述
技术原理 列存索引特性在 PolarDB MySQL版 中的功能架构图如下：从以上架构图可以看到，PolarDB MySQL版 从存储引擎、执行算子、优化器三个层面设计了列存索引的特性：存储引擎：支持实时事务级别一致性的行列混合存储；执行算子：面向列存...
图扑案例
针对存储层面临的问题，厦门图扑软件基于阿里 云原生多模数据库 Lindorm 改造存储层架构，以单库多模超融合模式存储全量采集的监控数据（技术方案对比如图2所示），极大地简化了存储层架构，进而降低了运维成本。利用Lindorm自研的数据压缩...
Lindorm实时入湖建仓分析
方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三方面。Lindorm实时入湖建仓引擎：支持T+10min近实时入湖，同时支持Schema推断、动态列增加、分区管理、小文件合并及Clustering等能力。Lindorm...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
数据类云产品专家服务
服务阶段 服务说明 评估阶段 需求交流 业务调研 技术架构调研 云资源盘点 检查阶段 健康检查 风险评估 赋能课程 具体产品问题的专家诊断与优化 具体需求方案及支持 方案支持 质量优化 安全加固 安全巡检 架构改造 压测调优 验收阶段《项目...
DataWorks V3.0
DataWorks V3.0核心特性 支持多种计算引擎 DataWorks V3.0全新升级了多引擎插件化架构，在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上，新增开源大数据引擎E-MapReduce、交互式分析和图计算服务（Graph Compute）等引擎服务。...
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
分析外部OSS上的数据
技术原理 列存索引（IMCI）是一个高性能的列存分析引擎，相关文档请参见 PolarDB HTAP实时数据分析技术解密，ORC和Parquet也是列存格式，OSS支持高并发读取，在高并发时可以获取更高的网络吞吐。因此，IMCI的并行扫描功能可以充分利用OSS的...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
高性能版实例
说明 AnalyticDB PostgreSQL版 高性能版实例，适用于大部分业务分析场景。对于企业核心业务，依然推荐采用高可用版本。架构介绍 AnalyticDB PostgreSQL版 高性能版实例的Master和Segment节点均采用了单节点部署，架构图如下。图 1.高性能版...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
计算设置概述
亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB Transwarp ArgoDB是星环科技的分布式分析性数据库。说明 星环ArgoDB不支持智能研发版。设置Dataphin实例的计算引擎为TDH或ArgoDB 星环...
什么是PolarDB MySQL企业版
产品架构图 PolarDB MySQL版 的产品架构具有如下特点：一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（至少一个，用于保障高可用）。主节点处理读写请求，只读节点仅处理读请求。主节点和只读...
迁云服务
云上架构设计上云调研与评估 基于上云调研与评估的结果，为客户设计云上技术架构，包含：网络设计：VPC规划、vSwitch规划、IP段规划、IDC到云上网络连通规划。安全设计：基于阿里云安全产品进行安全架构设计，主要包含安全组规范、堡垒机接...
- 产品推荐
- 这些文档可能帮助您