存储格式
AnalyticDB PostgreSQL支持多种存储格式。当您创建一个表时，可以选择表的存储格式为行存表或者列存表。行存表 默认情况下，AnalyticDB PostgreSQL创建的是行存表。行存表使用和 PostgreSQL 相同的堆存储模型（Heap Table），在 OLTP 类型...
存储格式与SerDe
STORED AS TEXTFILE 数据文件的存储格式为纯文本文件，默认文件类型。文件中的每一行对应表中的一条记录。STORED AS PARQUET 数据文件的存储格式为PARQUET。STORED AS ORC 数据文件的存储格式为ORC。STORED AS RCFILE 数据文件的存储格式为...
表存储格式定义
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
更改列存表的数据存储格式
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
表存储格式：列存、行存、行列共存
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
指定服务器编码格式
您可以指定数据库中服务器的编码格式，作为数据库数据的存储格式。本文以示例的形式介绍 PolarDB 兼容的GBK与GB18030两种编码格式的使用方法。简介 GBK GBK（Chinese Internal Code Specification）即汉字内码扩展规范。GBK共收录21886个...
指定服务器编码格式
您可以指定数据库中服务器的编码格式，作为数据库数据的存储格式。本文以示例的形式介绍 PolarDB 兼容的GBK与GB18030两种编码格式的使用方法。简介 GBK GBK（Chinese Internal Code Specification）即汉字内码扩展规范。GBK共收录21886个...
CSV格式
参数配置 在 创建OSS投递任务（新版）时，选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。参数 说明 CSV字段 在 原始日志 页签中查看日志字段，将需要投递到OSS的字段...
ORC格式
参数配置 在 创建OSS投递任务（新版）时，选择 存储格式 为 orc，对应的参数配置如下所示。相关参数说明如下表所示。参数 说明 Key名称 您可以在 原始日志 页签中查看日志字段，将需要投递到OSS的字段名有序填入。OSS投递任务将按照此顺序...
概述
通常情况下，同一份数据以ORC格式和PARQUET格式存储时，其数据扫描性能要优于普通文本CSV格式。因此，您可以将文本类型的数据转换为ORC格式或者PARQUET格式，通过DLA扫描转换格式后的数据，在提高数据扫描性能的同时也帮助您节省一定的数据...
录音存储统计
功能概述 查看当前账号中录音存储使用情况 查看各个实例中的录音存储使用情况 配置录音的存储格式 配置录音的存储模式，按时存储或者按量存储 模块介绍 计费逻辑 计费逻辑：每个自然月1日开始，记录每日最大存储量，每日超出50G的部分做...
文件管理最佳实践
文件格式 文件存储服务目前支持上传图片、音频和视频文件。文件格式要求如下表所示。文件类型 文件格式 图片 jpg/jpeg、png、gif、bmp、wbmp、webp、svg 音频 mp3 视频 mp4、ogg、webm 上传文件 以下代码展示了如何通过 uploadFile 方法以...
通过缓存优化性能
概要 下表总结了Delta和Apache Spark缓存之间的主要区别，以便您选择最合适工作流的工具：功能 Delta 缓存 Apache Spark 缓存 储存格式 工作节点上的本地文件。In-memory blocks,但它取决于存储级别。适用对象 WASB和其他文件系统上存储...
通过SLS完成日志数据入湖OSS
如果未设置文件后缀，则日志服务会根据存储格式和压缩类型自动生成后缀，例如suffix。写OSS RAM角色 选择 默认角色，表示授权OSS投递作业使用阿里云系统角色AliyunLogDefaultRole将数据写入到OSS Bucket中。如果您还没有生成默认角色，需...
数据湖投递概述
大规模实时数据分析 数据湖投递可以实时（每2分钟）投递增量的 表格存储 数据到OSS，投递的数据支持按系统时间分区、Parquet列存格式存储；再利用OSS的高读带宽和列存面向扫描场景优化实现高效实时数据分析。功能特性 数据湖投递的主要功能...
格式转换
如果想把透明填充成白色可以指定 1wh 参数 png 将原图保存成png格式 webp 将原图保存成webp格式 bmp 将原图保存成bmp格式 gif 将gif格式保存成gif格式，非gif格式是按原图格式保存。src 按原图格式返回，如果原图是gif，此时返回gif格式第...
产品架构
投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
使用SDK
format：投递的数据的存储以Parquet列存格式存储。默认值为Parquet。数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。目前仅支持Parquet，一般无需配置，保持默认即可。eventTimeColumn：事件时间列，用于指定按某一列...
通过控制台投递数据到OSS
投递文件格式 投递的数据以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。Schema生成方式 指定需要投递的数据列，可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中...
敏感数据安全防护方案
背景信息 敏感数据主要包括个人隐私信息、密码/密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的各类存储系统中。如何更好地发现、定位、保护这些数据，对您的企业非常重要。OSS本身提供了细粒度的 权限管理 和 数据加密...
文档转换
使用REST API 转换信息 转换前 文档格式：DOCX 文档名称：example.docx 处理方式：文档格式转换 转换后 文件格式：PNG 文件存储路径：oss:/test-bucket/doc_images/{index}.png b_dGVzdC1idWNrZXQ：转码完成后保存到名为test-bucket的...
表格存储收费方式详解
表格存储支持后付费，根据一个账单周期内各个资源的实际使用量进行计量计费，无需额外购买实例费用。目前表格存储一共有4个维度的计量项。表格存储根据账单周期（小时）中的实际使用量来进行计量计费。数据存储量 预留读吞吐量和预留写吞吐...
0040-00000209
问题描述 图片处理格式裁剪算子重心参数格式非法。问题原因 图片处理裁剪算子重心参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/crop,w_500,h_500,g_fac ...
0004-00000244
问题描述 图片处理格式模糊算子倍率参数格式非法。问题原因 图片处理模糊算子倍率参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,g_face,p_1000,r_25,s_50 ...
Web端接入AVIF格式图片说明
AVIF是一种基于AV1视频编码的新图像格式，相对于JPEG、WebP等图片格式压缩率更高，并且画面细节更好。您可以通过本文所示的方法，在Web端接入AVIF格式图片。AVIF简介 AVIF通过使用更现代的压缩算法，在相同质量的前提下，AVIF文件大小是...
格式转换
通过格式转换参数，您无需将图片下载到本地进行转换，只需指定URL转换存储在OSS内原图的格式。本文介绍对图片进行格式转换时所用到的参数及示例。使用场景 适应不同设备和平台：不同的浏览器、操作系统或移动设备可能支持不同的图片格式。...
0004-00000243
问题描述 图片处理模糊作用范围参数格式非法。问题原因 图片处理模糊作用范围参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,g_fac,r_25,s_50 ...
0053-00000005
问题描述 视频截帧请求访问的目标文件格式不支持。问题原因 您发起了视频截帧请求，但是目标视频文件的格式不符合要求，导致截帧失败。问题示例 无。解决方案 当前仅支持对视频编码格式为H264和H265的视频文件进行视频截帧，请确保您访问的...
错误处理
了解通道服务的错误格式定义和错误码信息。通道服务在收到异常请求后，会返回protobuf格式错误以及HTTP状态码。格式定义 protobuf错误格式如下：message Error { required string code=1;optional string message=2;optional string tunnel...
OSS图片格式转换提示“Maximum width and height ...
问题描述 转换存储在阿里云对象存储OSS内图片的格式时，提示“Maximum width and height allowed is 16383 pixels for converting webp”错误。问题原因 WebP格式图片的边长限制为16383像素，您的图片超过了这个限制。解决方案 在转换存储...
OSS API设置LifeCycle提示时间格式错误
问题描述 通过API设置LifeCycle出现时间格式错误，报错结果如下。问题原因 此问题是由于设置LifeCycle的时间点目前只支持到具体的天，无法设置具体小时。解决方案 将时间修改为2016-10-23T00:00:00.000Z，即可恢复正常。适用于 对象存储 ...
数据表操作
命令格式 create-t tableName-pk '[{"c":"<primaryKeyName>","t":"<primaryKeyType>"},{"c":"<primaryKeyName>","t":"<primaryKeyType>","opt":"<options>"}]'-ttl<timeToLive>-version配置项说明请参见下表。配置项 是否必填 示例值 说明-...
在配置访问OSS的临时访问凭证时提示“策略格式错误”
问题描述 通过STS服务给其他用户颁发一个临时访问凭证，实现该用户可使用STS临时访问凭证访问阿里云对象存储OSS。在授权的以下场景中，提示“策略格式错误”。在为角色授予上传文件的权限，配置策略时，提示“策略格式错误”。在创建用于...
LOAD
本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能...
LOAD
本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能...
- 产品推荐
- 这些文档可能帮助您