客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
产品架构
数据湖架构 数据湖架构主要用于数据中台、推荐系统、风控系统等场景。在数据湖架构中，表格存储 作为源表、结果表或者维表对接流批计算引擎实现大数据计算与分析。物联网架构 物联网架构主要用于车联网、智能家电、工业物联网、物流等场景...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
使用函数计算清洗数据
步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击实例名称或在实例 操作 列...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
时序模型计量计费
分析存储 数据存储 按量付费 资源包 按照容量型存储计费。分析存储相比时间线数据具有更高的压缩率。按量写吞吐量 按量读吞吐量 按量付费 资源包 按照容量型读写计费。按照SQL引擎访问分析存储实际产生的数据扫描量计算CU，其中读取4 KB...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
使用函数计算
注意事项 请确保表格存储数据表与函数计算服务处于同一地域。步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
配置Hive输出组件
加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新数据，无主键时追加数据。字段分隔符 非必填项，填写字段之间分隔符。...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
Transaction Table2.0概述
增全量数据存储和处理一体化架构 上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，...
文件系统存储类型
数据存储 数据取回 成本节省计划 低频存储和归档存储是针对存储在标准存储空间中的冷数据进行成本优化。设置生命周期管理策略，您可以根据业务实际访问数据的情况自动分级存储数据，从而优化存储成本。如果您需要频繁访问低频存储或归档...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
对象存储优化
为了更有效地管理存储数据，您还可以使用标签对OSS对象进行分类，并在生命周期规则中对这些标签进行过滤。了解数据详细信息 存储空间清单 可以帮助您更好地了解对象的状态，简化并加速工作流和大数据作业任务等。存储空间清单功能以周为...
冷数据存储计费规则（可选）
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
设置数据冷热存储策略
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
基本概念
云数据库SelectDB 集群（SelectDB Cluster）云数据库SelectDB版 集群支持存算分离架构，多计算集群共享存储数据。云数据库SelectDB版 集群包括计算资源（vCPU、内存）和缓存资源（Cache），以集群粒度进行算力隔离，满足各个业务的不同性能...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要...步骤三：查看导入到表格存储中的数据 在表格存储控制台查看表格存储数据同步结果。登录 表格存储控制台。在 概览 页面上方，选择地域。单击实例名称。在 实例详情 页签...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
应用场景
场景二：Redis作为存储数据库使用 游戏部署架构相对简单，主程序部署在ECS上，所有业务数据存储在Redis中，作为持久化数据库。云数据库Redis版 支持持久化功能，主备双机冗余数据存储。Redis的服务可靠性至关重要，一旦Redis服务不可用，将...
基本概念
栅格数据的文件表示以及在数据库中存储的逻辑模型如下图所示：Band与Layer Ganos Raster采用了一种简单而高效的通用栅格数据模型来管理专题数据和遥感影像数据。一幅遥感影像（Image）由若干可以表示为2D栅格图层的波段（Band）组成，每个...
冷存储介绍
云原生多模数据库 Lindorm 将容量型云存储作为冷存储介质，用于存储数据库中访问频率较低的历史数据（冷数据），从而降低存储成本。本文介绍容量型云存储的功能特性及性能测试结果。功能特性 存储成本低。存储成本仅为标准型云存储成本的20...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
DBS沙箱费用
沙箱存储费用 沙箱存储费用 开启沙箱功能后，系统会自动将待恢复的数据同步至沙箱存储中，并在沙箱存储中生成多个直接可用的沙箱实例快照，DBS将根据沙箱存储中的数据量收取沙箱存储费用。沙箱存储费用的计费方式与价格如下。沙箱存储费用...
SQL概述
SQL查询功能适用于在海量数据中进行在线数据访问类型的场景，SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如...
- 产品推荐
- 这些文档可能帮助您