管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
创建Kudu数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Kudu。如果您最近使用过Kudu，也可以在 最近使用 区域选择Kudu。同时，您也可以在搜索框中，输入Kudu的关键词，快速筛选。在 新建Kudu数据源 对话框中，配置连接数据源参数。配置数据源的...
新建Paimon数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Paimon。如果您最近使用过Paimon，也可以在 最近使用 区域选择Paimon。同时，您也可以在搜索框中，输入Paimon的关键词，快速筛选。在 新建Paimon数据源 对话框中，配置数据源的基本信息。...
某网约车公司车辆轨迹数据
解决方案 在原有的架构上引入了阿里云数据库，并将全量数据写到 云原生多模数据库 Lindorm 中，同时增量数据通过Kafka、Spark等实时同步到 云原生多模数据库 Lindorm，这样解决了客户线下数据库数据过大的问题。客户需要存储最近3年的数据...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
应用场景
数据驱动的业务 云数据库Cassandra可以支持数百个节点的集群规模，适合大数据量的存储。在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大...
基本介绍
目前，云原生多模数据库Lindorm是阿里集团最基础存储设施之一，在多年的阿里巴巴双十一全球狂欢节上提供优秀的大数据在线存储能力，支撑了数百PB规模的存储和其每秒数亿次的峰值访问、每日数十万亿次的海量吞吐。相比HBase开源版，云数据库...
互联网金融：武汉利楚商务服务有限公司
解决方案 DRDS分库分表，在DRDS中保存近3个月数据分流部分前端查询，将数据库进行水平拆分有效解决了订单的存储上限及业务高峰时的高并发压力，借助了DRDS对MySQL语法的高度兼容能力，非常方便地从原来单体数据库升级到现在的分布式架构。...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
存储冗余概述
对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。...如何将本地冗余存储类型的Bucket转换为同城冗余存储类型的Bucket，请参见 转换Bucket的存储冗余类型。
设置数据冷热存储策略
本文介绍通过开源HDFS客户端设置冷热数据存储策略的方法。前提条件 已开通冷存储功能。具体操作，请参见 开通冷存储。操作步骤 通过开源HDFS客户端访问文件引擎，具体操作，请参见 通过开源HDFS客户端连接并使用文件引擎。通过以下命令 ...
冷数据存储计费规则（可选）
本文介绍了开启冷数据归档功能后，在冷数据存储方面的计费规则。当 开启冷数据归档 后，PolarDB 企业版支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据归档的详细介绍，请参见 冷数据归档概述。...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
概述
企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客文章，大约有7％的云上支出浪费在未使用的存储卷和旧快照（存储卷的副本）上。阿里云...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
分层存储
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀测阶段，如需您需要使用此功能，请单击 申请开通，在 新功能试用申请 页面申请...
概述
数据同步过程中，数据源中的数据存储在目标数据仓库OSS中，搭建数据仓库过程中不会对数据源端的业务系统产生任何压力。通过DLA控制台配置建仓任务，支持自定义设置定时数据投递。极致的计算能力，充分发挥DLA的计算能力，通过DLA的大内存、...
引擎功能
数据存储默认采用多副本策略，充分保证数据的可用性。数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势...
什么是云数据库HBase
云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的存储、检索、分析需求，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景的数据...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
Tair选型指南
创建 云原生内存数据库Tair 实例前，您需要结合产品性能、价格、业务场景、工作负载等因素，做出性价比与稳定性最优的决策。...关于实例性能类问题的排查方法，请参见：排查CPU使用率高的问题 排查内存使用率高的问题 排查流量使用率高的问题
通过实时计算订阅数据
参数 说明 数据存储类型 DataHub数据存储。EndPoint 通过 DataHub访问域名 获取。Project DataHub的项目名称，可在 DataHub控制台 中获取。使用同样的方式注册RDS数据存储，参数说明如下。参数 说明 Instance RDS的实例ID，可在RDS实例的 ...
什么是表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 表格存储 前，您需要了解以下基本概念。术语 说明 地域 地域...
如何使用OSS更省钱？
以下案例仅覆盖常用的存储和数据请求的场景。如使用过程中涉及OSS其他功能，可能触发其他对应的计费项。更多信息，请参见 计费项。案例说明 用户A在OSS某个Bucket内以标准存储-本地冗余类型存储了100 TB的数据。当访问不同比例的数据时，该...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
使用前须知
简单上传 修改Object存储类型 数据无法访问、计费规则变化 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意Object的存储类型。如果您将.dlsdata/下任意Object的存储类型修改为低频类型时，通过OSS-HDFS...
查询机制
UPDATE 上图中，txid表示事务号，t_xmin表示插入的事务号，t_xmax表示删除事务号，t_cid表示事务内命令的序号，t_tcid表示数据块内的偏移量，data表示实际数据存储的值。事务101 左侧SQL表示在tbl表中插入一行值为0的数据，右侧表示实际的...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
应用场景
背景 HBase的设计之初是为了满足互联网的大数据场景，几乎所有非强事务的结构化、半结构化的存储需求都可以使用HBase来满足。ApsaraDB for HBase是NoSQL（Not only SQL），也支持SQL及二级索引。大数据场景 云数据库HBase支持海量全量数据...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
实时数据订阅概述
云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的...通过Pull模式创建数据订阅通道的订阅数据默认保存7天，与Lindorm共享底层的LDFS存储空间，因此您在开启数据订阅功能前需要先确认有充足的存储空间。
Kafka实时入湖建仓分析
数据存储格式 数据的存储格式固定为HUDI。任务执行Spark虚拟集群 执行Spark作业的虚拟集群。目前入湖⼯作负载在DLA Spark的虚拟集群中运行。如果您还未创建虚拟集群，请进行创建，具体请参见 创建虚拟集群。说明 请确保您选择的Spark虚拟...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
- 产品推荐
- 这些文档可能帮助您