通过缓存优化性能

它不支持其他存储格式,如CSV、JSON和ORC。注意 Delta缓存适用于所有Parquet文件,并且不仅限于 Delta Lake格式的 文件。Delta和Apache Spark缓存 Databricks提供两种类型的缓存:增量缓存和Apache Spark缓存。这是每种类型的特征:存储的...

更改列存表的数据存储格式

从Hologres V0.10版本开始,Hologres创建的列存表数据存储格式升级为AliORC,该存储格式能够进一步压缩数据存储大小,降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...

存储格式与SerDe

STORED AS TEXTFILE 数据文件的存储格式为纯文本文件,默认文件类型。文件中的每一行对应表中的一条记录。STORED AS PARQUET 数据文件的存储格式为PARQUET。STORED AS ORC 数据文件的存储格式为ORC。STORED AS RCFILE 数据文件的存储格式为...

存储格式

AnalyticDB PostgreSQL支持多种存储格式。当您创建一个表时,可以选择表的存储格式为行存表或者列存表。行存表 默认情况下,AnalyticDB PostgreSQL创建的是行存表。行存表使用和 PostgreSQL 相同的堆存储模型(Heap Table),在 OLTP 类型...

概述

存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据,冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据,数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据,数据由大...

录音存储统计

功能概述 查看当前账号中录音存储使用情况 查看各个实例中的录音存储使用情况 配置录音的存储格式 配置录音的存储模式,按时存储或者按量存储 模块介绍 计费逻辑 计费逻辑:每个自然月1日开始,记录每日最大存储量,每日超出50G的部分做...

通过SLS完成日志数据入湖OSS

如果未设置文件后缀,则日志服务会根据存储格式和压缩类型自动生成后缀,例如suffix。写OSS RAM角色 选择 默认角色,表示授权OSS投递作业使用阿里云系统角色AliyunLogDefaultRole将数据写入到OSS Bucket中。如果您还没有生成默认角色,需...

数据湖投递概述

表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储,以满足更低成本的历史数据存储,以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求:冷热数据分层 数据湖投递结合 表格存储 的 ...

创建投递任务

Format:投递的数据的存储以Parquet列存格式存储,数据湖投递默认使用PLAIN编码方式,PLAIN编码方式支持任意类型数据。EventTimeColumn:事件时间列,用于指定按某一列数据的时间进行分区。如果不设置此参数,则按数据写入表格存储的时间...

创建投递任务

format:投递的数据的存储以Parquet列存格式存储,数据湖投递默认使用PLAIN编码方式,PLAIN编码方式支持任意类型数据。eventTimeColumn:事件时间列,用于指定按某一列数据的时间进行分区。如果不设置此参数,则按数据写入表格存储的时间...

产品架构

投递的数据兼容开源生态标准,按照Parquet列存格式存储,兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎,包括Flink、Spark、Presto等。与阿里大数据平台生态组件...

使用SDK

format:投递的数据的存储以Parquet列存格式存储。默认值为Parquet。数据湖投递默认使用PLAIN编码方式,PLAIN编码方式支持任意类型数据。目前仅支持Parquet,一般无需配置,保持默认即可。eventTimeColumn:事件时间列,用于指定按某一列...

通过控制台投递数据到OSS

通过表格存储控制台创建投递任务,将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket,详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...

敏感数据安全防护方案

本文介绍如何将阿里云对象存储OSS与阿里云 数据安全中心DSC(Data Security Center)结合,对敏感数据进行识别、分类、分级和保护。前提条件 已开通DSC 开通步骤请参见 快速实现数据分类分级。已开通OSS 开通步骤请参见 开通OSS服务。背景...

表格存储是否支持存储JSON数据?

当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据,然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息,请参见 数组和嵌套类型。

智能云相册的审计事件

操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件,智能云相册支持在操作审计中查询的事件如下...

将表格存储的增量数据转换为全量数据格式

通过DataWorks控制台,您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute,且已配置同步 表格存储 增量数据到MaxCompute。具体操作,请分别参见 全量导出...

概述

若集群中某些库表的数据几乎没有更新、插入和修改操作,且读取频率非常低,如果您有降本需求,可以使用 PolarDB MySQL版 提供的冷数据归档功能,将这部分数据转存至低成本的OSS上存储,以降低数据存储成本。本章节介绍了冷数据归档方法、...

授权金融级实人认证访问OSS存储空间

金融级实人认证 服务的部分接入方式支持将用户的认证照片上传并存储到您的OSS空间,满足您的查证需求。您可以基于业务需要选择开通OSS服务,并承担存储费用。前提条件 您已创建认证场景。更多信息,请参见 添加认证场景。您拥有阿里云账号...

上传和共享SSL证书

您可以使用文本编辑工具打开PEM或者CRT格式的证书文件,复制其中的内容并粘贴到该文本框,或者单击该文本框下的 上传,并选择存储在本地计算机的证书文件,将文件内容上传到文本框。证书私钥 填写证书私钥内容的PEM编码。支持以下几种方式...

GxP欧盟附录11标准合规包

业务背景 GxP欧盟附录11(GxP EU Annex 11)是欧盟对于计算机化系统使用的规范性要求,主要针对在制药、生物技术和医疗器械领域中使用计算机化系统的企业和组织。他要求涵盖了计算机化系统的开发、验证、操作、维护和监测等方面,以确保...

OSS图片格式转换提示“Maximum width and height ...

问题描述 转换存储在阿里云对象存储OSS内图片的格式时,提示“Maximum width and height allowed is 16383 pixels for converting webp”错误。问题原因 WebP格式图片的边长限制为16383像素,您的图片超过了这个限制。解决方案 在转换存储...

管理存储过程

概述 在 OceanBase 开发者中心(OceanBase Developer Center,ODC)首页单击连接名进入连接后,在左导航栏中单击 存储过程 标签可查看存储过程列表,在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中,可查看...

SingleColumnValueFilter

当某些列中存储了自定义格式数据(例如JSON格式字符串)时,如果用户希望通过某个子字段值来过滤查询该列数据,则需要设置此参数。相关操作 条件更新 PutRow UpdateRow DeleteRow BatchWriteRow 过滤器 GetRow GetRange BatchGetRow

功能特性

挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据,建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...

获取exif信息

数码相机拍摄的照片文件中包含exif信息,用于记录数码照片的属性信息和拍摄数据。这些信息可以通过@exif 来获取,返回格式是JSON格式,目前支持返回的类型包括但不限于以下类型:GPSLatitudeRef GPSLatitude GPSLongitudeRef GPSLongitude ...

概述

文件存储CPFS 文件存储CPFS(Cloud Paralleled File System)是一款并行文件系统,其数据存储在集群中的多个数据节点,多个客户端可以同时访问,满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...

获取存储空间的存储容量

本文介绍如何获取指定存储空间(Bucket)的存储容量以及Bucket内不同存储类型文件(Object)的数量及其存储容量。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。...

格式转换

通过格式转换参数,您无需将图片下载到本地进行转换,只需指定URL转换存储在OSS内原图的格式。本文介绍对图片进行格式转换时所用到的参数及示例。使用场景 适应不同设备和平台:不同的浏览器、操作系统或移动设备可能支持不同的图片格式。...

GetBucketStat

调用 GetBucketStat 接口获取指定存储空间(Bucket)的存储容量以及文件(Object)数量。注意事项 调用该接口时需要拥有 oss:GetBucketStat 权限。调用该接口获取的数据并非是实时数据,延时可能超过一个小时。调用该接口获取到的存储信息...

查看选项

o option_name[=option_value]或者-ooption_name[=option_value]例如在挂载时指定uid和gid参数:ossfs bucket_name mount_point-ourl=endpoint-ouid=uid-ogid=gid ossfs常用选项如下:url:用于指定存储空间的访问域名,格式为 url=...

获取存储空间的存储容量

本文介绍如何获取指定存储空间(Bucket)的存储容量以及Bucket内不同存储类型文件(Object)的数量及其存储容量。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。...

获取存储空间的存储容量

本文介绍如何获取指定存储空间(Bucket)的存储容量以及Bucket内不同存储类型文件(Object)的数量及其存储容量。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。...

对象存储优化

存储空间清单功能以周为单位,对您存储空间内的对象进行扫描,扫描完成后会生成CSV格式的清单报告,并存储到您指定的存储空间内。在清单报告中,您可以有选择地导出指定对象的元数据信息,如文件大小、加密状态等。数据监控 OSS监控服务 为...

获取存储空间的存储容量

本文介绍如何获取指定存储空间(Bucket)的存储容量以及Bucket内不同存储类型文件(Object)的数量及其存储容量。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。...

什么是云存储网关CSG

块网关 块网关在OSS中创建存储卷,提供Internet小型计算机系统接口(iSCSI)协议访问。本地应用程序可将这些卷作为iSCSI目标进行访问。块网关提供两种模式:透传模式和缓存模式。透传模式可以将块卷数据切片同步上云,适用于专线等高速链路...

revert-versioning(恢复版本)

revert-versioning 命令用于在开启版本控制的存储空间(Bucket)中,将已删除的文件(Object)恢复至最近的版本。注意事项 要恢复文件的版本,您必须具有 oss:ListObjectVersions 和 oss:DeleteObjectVersion 权限。具体操作,请参见 为RAM...

OSS中的透明图片添加水印不生效

问题描述 为存储在阿里云对象存储OSS中的图片文件增加水印时,水印不生效。问题原因 图片水印不支持原图有 透明图 层。添加水印时是以原图颜色为背景色,将水印图片融合进入RGB通道,Alpha通道保留原值。Alpha通道只有两个值(全透明或者不...

数据集成服务

数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...

Kafka数据接入

通过创建Tablestore Sink Connector,将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储(Tablestore)。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作,请参见 开启Connector。已为实例创建数据源Topic。更多...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 云存储网关 对象存储 混合云存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用