设置数据冷热存储策略

如果您想要以指定规则对文件引擎中存储的数据进行归档,将冷热数据分开存储,可以通过命令设置冷热存储策略,按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率,减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...

使用前须知

警告 当您为某个Bucket开通OSS-HDFS服务后,通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS服务的正常使用或者引发数据丢失的风险,禁止以非OSS-HDFS提供的方式对目录.dlsdata/及目录下的Object执行...

仪表盘

仪表盘:仪表盘是进行数据分析和可视化报表的基本单位。图表或组件:图表或组件是进行数据可视化的最小单位,每一个图表均需要关联一个数据集。图表附属了某个仪表盘或大屏,图表的生成过程是依据数据集提供的数据模型对 SQL结果进行二次...

概述

基本概念 名称 描述 Event 是数据流通过Flume Agent的基本单位。Event由一个可选的Header字典和一个装载数据的字节数组组成。示例如下。Header(Map)|Body(byte[])|-Flume Event Source 是数据源收集器,从外部数据源收集数据,并批量发送到...

查看敏感数据识别结果

数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 数据检索 页面和 数据识别 页面查看敏感数据识别结果。本文...

产品架构

本文介绍 表格存储 系统架构和典型应用架构。系统架构 表格存储 架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...

冷热分离介绍

冷热分离功能支持将冷热数据存储在不同的介质上,冷存储的存储类型为容量型存储,热存储的存储类型为标准型云存储、性能型云存储、本地SSD盘或本地HDD盘。冷存储的价格仅为标准型存储的20%,大大降低了存储成本。原理简介 在功能实现上,...

产品功能

TSDB 提供时序数据的高效读写。对于百万数据点的读取,响应时间小于 5 秒,且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种...TSDB 的数据存储默认采取三副本策略,充分保证数据的可用性。

监控与日志

​表格存储的日志数据存储的最大保存时长默认为7天,您可以根据实际需要自行修改。相关操作,请参见 修改Logstore配置。查询与分析审计日志 对表格存储实例中的资源进行操作时,系统会自动采集审计日志并建立索引。您可以在审计日志页面对...

方案背景

因此车联网场景下车辆元数据存储与分析的需求如下:数据存储:车辆元数据定时上报到数据网关并且转发到下游存储,需要支持大规模数据存储。数据更新:海量车辆元数据会频繁更新,需要支持数据高并发实时更新。数据检索:根据车辆的参数检索...

通用数据开发

数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统的数据至MaxCompute中,方可通过MaxCompute的海量数据...

数据湖投递概述

表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储,以满足更低成本的历史数据存储,以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求:冷热数据分层 数据湖投递结合 表格存储 ...

时序模型

表格存储 Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息,请参见 ...

时序模型

表格存储 Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息,请参见 ...

概述

Federated引擎允许您访问远程 PolarDB MySQL版 集群或社区MySQL数据库中的数据,而无需使用复制或集群技术。本地Federated表中未存储任何数据,查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL...

授权与回收数据源权限

本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建,请参见 数据源管理。授权数据源权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 数据源授权 对话框。根据数据源授权...

授权与回收数据源权限

本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建,请参见 数据源管理。授权数据源权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 数据源授权 对话框。根据数据源授权...

文件系统存储类型

归档存储 数据审计 若您需要满足合规要求,对数据存储的保留期限有长期需求。例如,在医疗行业中,一些患者的记录需要保留6年或更久;在金融行业中,一些交易数据需要保留5年以上。采用归档存储方案能够帮助您轻松管理冷数据并降低存储成本...

OSS数据安全防护最佳实践

本文介绍如何使用 数据安全中心(DSC),对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据,这些数据通常会以不同的格式存储在您的OSS Bucket中,一旦发生泄漏,...

生命周期管理概述

全部数据存储在低频存储或归档存储节省的存储费用(费用A)读写低频存储或归档存储中的数据产生的流量费用(费用B)(通用型NAS存储单价-低频存储单价或归档存储)×预估存储容量 文件存储NAS的存储单价,请参见 文件存储NAS产品定价。...

产品优势

本文介绍了 表格存储 优势,包括多模型数据存储、多元化数据索引、多计算生态接入、访问安全性等。多模型数据存储 表格存储 支持宽表(WideColumn)模型、时序(TimeSeries)模型、消息(Timeline)等多种数据存储模型,能实现多种类型...

功能介绍

系统会对备份周期内删除或新增的数据进行增量备份,大小不压缩,默认的备份周期为7天,备份与数据存储比为68%左右。具体信息,请参见 备份策略。如需修改备份数据保留时长,请 提交工单 联系技术支持进行修改。使用场景 备份恢复的功能适用...

快速体验

数据存储与计算:云原生大数据计算服务 MaxCompute(必选)、实时数仓Hologres(可选)、开源大数据平台E-MapReduce(可选),您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度:大数据开发治理平台 DataWorks数据...

JINDODATA指标

backend_read_bytes_total_window jindodata_metrics_jindofsx_ns_backend_read_bytes_total_window 一段时间内读取后端存储的数据量。单位:Byte。backend_read_time_total jindodata_metrics_jindofsx_ns_backend_read_time_total 读取后...

快照概述

数据库文件系统快照基于云盘快照,它是一种便捷高效的数据容灾手段,用于对文件系统的数据进行备份。什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件,文件系统部署在云盘上,因此文件系统快照服务实际上...

EMR-3.22.x版本说明

发布日期 EMR-3.22.0 2019年7月28日 新功能 服务 变更点 Kudu 新增组件,Kudu填补Hadoop生态圈的功能空白,可提供类似HBase快速数据插入以及随机存取的功能,允许用户进行数据修改,同时还提供类似HDFS或Parquet超大规模的数据分析以及查询...

时序模型介绍

表格存储的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景,支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据,能提供高并发写入和查询...

时序模型介绍

模型特性 表格存储的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。通用的时序数据建模方式,用户无须预定义表结构。支持自动构建时间序列的元数据索引,支持按照多种组合条件检索...

数据归档概述

数据把控能力 较强,数据归档并存储在DMS中,您无需关注数据存储的具体位置。较强,数据归档在用户开通的阿里云OSS上。较弱,数据归档在DBS内置OSS上。归档链路文档 数据归档至专属存储 数据归档至AnalyticDB MySQL 3.0 数据归档至Lindorm ...

功能特性

Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式,将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...

基本概念

Tile为栅格数据数据库中存储的基本单元,每个Tile包含若干Cell,一般像素大小为256或512。Cell或Pixel:表示Tile中的一个像素,可以拥有不同的数据类型如Byte,Short,Int,Double等。Key:唯一标识Tile的键值,分为SpatialKey、...

行业趋势与背景

数据库系统是一切应用软件的数据处理及交换核心,是所有基础软件进行数据存储、查询、分析处理的中心。数据库系统运行性能是否高效稳定、接口语言是否通用,直接决定了上层应用能否给用户提供好的性能,同时直接影响开发人员效率。根据全球...

亿海蓝-航运大数据的可视化案例

解决方案 DLA Ganos 引擎对不同时空存储的存取进行了统一封装,降低编码难度。原始数据使用DLA Ganos进行高效预处理,降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中,Lindorm的低延迟、高性能、高吞吐查询能力...

访问列存数据

Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储,相较于行式存储,列式存储的查询响应时间更短,消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据。背景信息 Lindorm列存是面向海量半结构化、结构化数据设计的列...

计算与分析概述

分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表,即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时,支持通过E-MapReduce SQL...

读写吞吐量

当通过 表格存储 API对数据进行读写操作时,会消耗对应的写服务能力单元和读服务能力单元。CU计算规则 1单位读服务能力单元表示从数据表中读一条4 KB数据。1单位写服务能力单元表示向数据表写一条4 KB数据。操作数据大小不足4 KB的部分...

DAS Auto Scaling弹性能力

PolarDB MySQL版 是阿里云数据库团队为云计算时代定制的数据库,其中它的具备计算节点与存储节点分离特性对Auto Scaling提供了强有力的技术保障,能够避免拷贝数据存储带来的额外开销,大幅提升Auto Scaling的体验。在上述多项技术的加持下...

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

索引加速

在Aggregate、Unique和Duplicate三种数据模型中,底层的数据存储是按照各自建表语句中AGGREGATE KEY、UNIQUE KEY和DUPLICATE KEY里指定的列进行排序存储的。而前缀索引,即在排序的基础上,实现的一种根据给定前缀列,快速查询数据的索引...

创建分析存储

当需要低成本存储时序数据以及快速查询和分析时序数据时,您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作,请参见 创建时序模型实例。已初始化...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 云数据库 RDS 数据库备份 DBS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用