RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
概述
专用数据仓库场景，依托PolarDB分布式版提供的海量数据存储能力，汇聚多个上游数据源，将其作为专用数据仓库使用；ETL计算场景：依托PolarDB分布式版基于列存索引提供的强大而灵活的计算能力。PolarDB分布式版结合列存索引特性，其优势不...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
DataWorks On Hologres使用说明
开始使用：数据集成 DataWorks数据集成提供Hologres数据读取与写入的能力，并提供离线同步、实时同步、全增量同步任务等多种数据同步场景。开始使用：数据建模与开发 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
应用开发概览
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
计算引擎版本说明
1.4.1 功能优化 支持宽表引擎（数据源）复杂数据类型的数据读取。优化资源申请相关配置的生成逻辑。1.3.0 新特性 新增数据类型转化函数，支持将HBase编码的BINARY类型的数据解析为真实数据类型（例如INT、LONG等）。详细介绍，请参见 访问...
典型场景
云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行处理，这些操作任务也可以被DataWorks调度。同时它还支持高性能的在线分析能力，可以通过Quick BI、DataV、Tableau、帆软等即时查询数据，并将数据以报表形式展现。大数据分析平台 ...
引擎简介
核心能力 低成本 通过高密度低成本介质、智能冷热分离、高压缩比算法、自适应编码等技术，达到海量数据存储处理成本比自建低80%。云原生弹性 通过存计分离架构和Serverless技术，支持计算和存储资源的按需即时弹性。企业级稳定性 基于高...
应用场景
敏感数据识别与打标 DSC 能从海量数据中发现和锁定保护对象，精准区分敏感数据与非敏感数据。通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的...
数据传输与迁移概述
离线数据批量数据读取（外部表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。典型场景。类型 典型场景 OSS数据与MaxCompute数据下载 UNLOAD命令。外部表，湖仓一体。Hologres读取MaxCompute数据 Hologres外部表...
互联网服务：小打卡
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍小打卡如何通过 PolarDB-X 应对业务挑战。所属...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-...
基于MaxCompute进行大数据BI分析
AnalyticDB MySQL：用于进行海量数据实时高并发在线分析，详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks：可实现ETL功能，对复杂数据集进行采集、加工及分析处理，详情请参见 什么是DataWorks。Quick BI：对处理后的数据进行...
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
应用场景
本文为您介绍DataV-Card可视分析创作间的典型使用场景及作品展示。...行业分析报告 支持海量数据，秒级数据探查。支持行业数据挖掘，所见即所得沉淀数据知识，简单几步实现简报搭建。快速分享作品和卡片，充分交流数据见解。
什么是云数据库SelectDB版
云数据库SelectDB版 是新一代实时数据仓库 SelectDB 在阿里云上的全托管服务，您可以在阿里云上便捷地购买 SelectDB 数仓服务，满足海量数据分析需求。产品优势 高性价比 高性能：支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
应用场景
大数据 大数据具有数据规模大、数据类型多样、生成速度快、价值巨大但密度低的特点，如何高性价比存储海量持续增长的数据以及快速从海量数据中获取有价值的信息成为大数据领域的关注重点。表格存储 数据湖架构能有效的解决大数据领域面临的...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
数据迁移
背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...
SQL概述
应用场景 MaxCompute SQL适用于海量数据（GB、TB、EB级别）、离线批量计算的场景。提交MaxCompute作业后，会存在几十秒到数分钟不等的排队调度，所以适合处理批作业，提交一次作业批量处理海量数据。不适合直接对接需要每秒处理几千至数万...
教程概述
本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...
数据服务集群
Apache HBase支持海量数据存储，具有很高的存储和计算扩展性，以及很好的读写性能，支持动态列、数据多版本存储，以及数据的生命周期管理等特点。适用场景 基于Apache HBase的优势和特点，DataServing适用于以下场景：风控或画像等需要支持...
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
基本概念
为了进一步提高效率，云数据库ClickHouse 将海量数据分散存储到多台服务器上，每台服务器只存储和处理海量数据的一部分，在这种架构下，每台服务器被称为一个分片（Shard）。副本（Replica）为了在异常情况下保证数据的安全性和服务的高...
产品架构
DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，...
概述
此方法适用于海量数据场景，对数据量不设上限，同时支持行、列和TEXTFILE等各种存储格式以及用户自定义分区配置。DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据...
方案背景
表格存储作为阿里云提供的一款全托管、分布式NoSql型数据存储服务，具有【海量数据存储】、【热点数据自动分片】、【海量数据多维检索】等功能，天然地解决了数据大爆炸这一挑战；在应对数据横向、纵向扩展上能充分发挥其优势。多元索引...
典型应用
海量数据实时多维查询 在数亿至数百亿记录规模大宽表，数百以上维度自由查询，响应时间通常在100毫秒以内。让业务人员能持续探索式查询分析，无需中断分析思路，便于深挖业务价值，具有非常好的查询体验。用户画像分析 随着数据时代的发展...
流表
读取流表数据 读取全表数据 SELECT*FROM MyStream;由于流表是无界的，因此该查询会不间断地进行。如果想要停止访问数据，请使用组合键 Ctrl+C 终止查询。从最早的数据开始读取 SELECT/*+OPTIONS('scan.startup.mode'='earliest-offset')*/*...
车联网数据存储处理方案
方案总览 Lindorm是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
背景信息及准备工作
提供海量数据实时在线分析服务，支持拖拽式操作、提供了丰富的可视化效果。您可以将OSS数据的查询分析结果以BI报表形式展现，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本示例主要介绍如何使用OSS+DLA+Quick BI实现...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
产品架构
其整体架构与宽表引擎一致，基于数据自动分区+分区多副本+Lucene的结构设计，具备全文检索、聚合计算、复杂多维查询等能力，支持水平扩展、一写多读、跨机房容灾、TTL等，满足海量数据下的高效检索需求，具体如下：LindormSearch 的数据...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
互联网金融：上海富友支付服务股份有限公司
业务挑战 随着业务规模和用户量的快速增长，高并发交易和海量数据给富友的数据库带来三大挑战：数据量大导致性能瓶颈：仅扫码业务每日有千万级交易量，加上互联网、跨境和SaaS富掌柜等业务，海量数据下传统商业数据库的性能明显不足。...
查询非结构化数据
说明 您可以根据需要选择Extractor、StorageHandler或Outputer类型：Extractor：自定义输入数据解析器，用来实现自定义处理数据读取的逻辑，即如何读取非结构化数据。StorageHandler：用于指定和配置自定义Extractor和Outputer的实现类。...
- 产品推荐
- 这些文档可能帮助您