数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
概述
说明 全局二级索引和多元索引的更多信息请参见 海量结构化数据存储技术揭秘：Tablestore存储和索引引擎详解。表分区裁剪：根据过滤条件进行逻辑分区（Split）的细化匹配，提前筛选出无效的Split，降低服务端的数据出口量。Projection和...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
数据模型架构规范
良好的数据模型可以帮助我们更好地存储数据，更有效率地获取数据，保证数据间的一致性。模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成，应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
数据归档至用户OSS
本文为您介绍如何将数据归档用户OSS（您开通的阿里云OSS服务），以及恢复已归档数据至源库。前提条件 源数据库类型如下：MySQL类型：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。PostgreSQL类型：RDS PostgreSQL、PolarDB ...
基础版Spark全密态计算引擎使用示例
saveMode 如果已存在目标数据库（解密后的数据存储的数据库），引擎在生成明文数据集时将采取的模式。支持以下模式：Append：追加写。ErrorIfExists：目标存在，则上报异常后退出。您可以在日志中查看具体报错信息。Ignore：目标存在，则...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
冷热分层
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
Redis备份上云
数据库备份DBS支持备份自建数据库，并支持恢复到阿里云数据库，从而实现备份上云。本文以自建Redis备份上云为例，分3个部分介绍备份上云的完整操作步骤，即先将本地自建Redis数据备份至DBS中；再将DBS中的备份数据恢复至阿里云Redis；最后...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
连续查询
创建数据库db_sensor_month，将原始数据存储在db_sensor_month中，数据有效期为30天。CREATE DATABASE db_sensor_month WITH(ttl=30);在数据库db_sensor_month中创建表sensor。USE db_sensor_month；CREATE TABLE sensor(device_id VARCHAR...
数仓规划概述
下图以默认的五层数据分层为例，数据分层规划完成后，后续的表数据存储可根据规划分别存储至不同的数据分层中。贴源层：用于数据库、日志、消息等基础源数据的引入。源数据经过一系列ETL操作进入贴源层，该层级只能挂载贴源表。公共层：...
分层存储
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀测阶段，如需您需要使用此功能，请单击 申请开通，在 新功能试用申请 页面申请...
什么是表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 表格存储 前，您需要了解以下基本概念。术语 说明 地域 地域...
表格存储的数据存储
表格存储对实例的数据总量按小时计费。由于用户的数据总量会动态变化，因此表格存储以固定的时间间隔统计表的数据总量大小，计算每小时数据总量的平均值，将平均值乘以单价进行计费。说明 单价可能会发生变化。更多信息，请参见 表格存储...
概述
日志备份：当前仅收取使用实例存储空间的费用，计费方式和 PolarDB-X 存储空间的价格与计费方式一致，详情请参见 存储空间价格。数据恢复：由于数据是恢复到新实例上，因此需要收取新实例的费用。全局一致性 PolarDB-X 是一款分布式数据库...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
容量中心
当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示了不同租户磁盘使用量 Top10 的数据。展开后可以查看对应租户的数据和索引的磁盘占用量。单击 详情 或者租户名称，...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
产品计费
免费试用默认为您开通3个数据库实例和1,000 GB的OSS数据存储容量（即支持防护的OSS数据量）。计费项 DSC 计费项 计费项 规格 基础版 企业版 数据库实例数 说明 支持管理RDS实例、PolarDB、MaxCompute项目等类型的云产品。1~20个实例 200元/...
文件系统存储类型
归档存储 数据审计 若您需要满足合规要求，对数据存储的保留期限有长期需求。例如，在医疗行业中，一些患者的记录需要保留6年或更久；在金融行业中，一些交易数据需要保留5年以上。采用归档存储方案能够帮助您轻松管理冷数据并降低存储成本...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
计算与分析概述
Flink 宽表模型 时序模型 使用Flink 通过实时计算Flink访问 表格存储 中的源表、维表或者结果表，实现大数据实时计算与分析。目前数据表支持作为源表、维表或者结果表，时序表只支持作为结果表。PrestoDB 宽表模型 通过PrestoDB使用...
配置Amazon S3输入组件
Object前缀 对象是Amazon S3存储数据的基本单元。也被称为Amazon S3的文件。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的Key来标识。输入组件支持多Object配置，可以 单击+添加Object前缀...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
计费常见问题
备份计划存储费用（可选）：配置包年包月备份计划时，当备份目标存储类型选择为 DBS内置存储，系统将根据存入DBS内置存储中的实际数据量的大小与时长收取存储费用。费用详情，请参见 存储费用。备份计划备份费用（可选）：若备份计划备份的...
如何对JSON类型进行高效分析
总之，PolarDB MySQL版 的虚拟列是一种灵活且强大的功能，尤其处理半结构化数据（如JSON类型数据等）时可以直接将不规则的数据存储为结构化数据，避免中间ETL额外处理逻辑，并且可以使用传统的SQL查询语言进行查询与分析。虚拟列有助于简化...
深度解析Lindorm搜索索引（SearchIndex）特性
背景 在海量数据存储的背景下，伴随着云原生、5G/IoT时代的到来，新的业务模型在不断涌现，除了简单的主键查询和范围查询外，简单分析、多维检索成为业务的基本需求。常见的一些查询需求如下：多维查询。即席查询(adhoc)，一般是不固定的列...
RDS SQL Server空间不足问题
整理索引碎片 索引碎片率较高会导致实际占用的数据存储空间过大，因此对索引执行碎片整理可以降低数据空间大小。您可以在控制台的 自治服务>性能优化 页面，单击 索引使用率 页签，可以查看各表的索引碎片率统计结果，并且自治服务会提供...
内置存储与用户OSS
数据库备份DBS提供数据库的备份恢复能力，备份数据保存在云存储上，云存储支持内置...当您的存储数据量较大时，推荐您使用DBS存储包，相比按量付费，预付费购买存储包有折扣，购买的容量越大，折扣力度就越大。详情请参见 DBS内置存储包说明。
数据类型转换
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户的数据类型转换。支持的转换类型 Oracle 数据库 OceanBase 数据库 Oracle 租户 描述 INTEGER NUMBER(38,0)INT NUMBER(38,0)SMALLINT NUMBER(38,0)BINARY_FLOAT BINARY...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
CDH6数据迁移
背景信息 CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，您可以使用 文件存储 HDFS 版 替换CDH6原有的本地HDFS服务，通过CDH6和 文件存储 HDFS 版 实现大数据计算在云上的存储与计算分离，应对...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
减灾与应急时空解决方案与案例
完全架构于云上，总体采用数据存储层、业务服务层和应用层三层架构。底层采用云原生数据库 PolarDB PostgreSQL版（兼容Oracle）+Ganos时空数据库引擎形成坚实底座，中间层采用GeoServer进行空间数据服务发布。支持直接导入面向对象存储OSS...
- 产品推荐
- 这些文档可能帮助您