通过SLS完成日志数据入湖OSS
如果未设置文件后缀，则日志服务会根据存储格式和压缩类型自动生成后缀，例如suffix。写OSS RAM角色 选择 默认角色，表示授权OSS投递作业使用阿里云系统角色AliyunLogDefaultRole将数据写入到OSS Bucket中。如果您还没有生成默认角色，需...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
产品架构
投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
使用SDK
format：投递的数据的存储以Parquet列存格式存储。默认值为Parquet。数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。目前仅支持Parquet，一般无需配置，保持默认即可。eventTimeColumn：事件时间列，用于指定按某一列...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
敏感数据安全防护方案
背景信息 敏感数据主要包括个人隐私信息、密码/密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的各类存储系统中。如何更好地发现、定位、保护这些数据，对您的企业非常重要。OSS本身提供了细粒度的 权限管理 和 数据加密...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
批计算
通过在E-MapReduce集群中使用Spark2访问表格存储。对于批计算，Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能，利用表格存储的全局二级索引或者多元索引可以加速查询。前提条件 已创建E-...
视频截帧
动画制作与游戏开发：动画师和游戏开发者可能会从视频中抓取特定帧作为角色动作的关键帧，用于构建动画序列或者游戏中的角色动作资源。视频分析与监控：在安防监控、运动分析等领域，通过截取视频中的关键帧进行细节查看和数据分析。例如，...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
OSS图片格式转换提示“Maximum width and height ...
问题描述 转换存储在阿里云对象存储OSS内图片的格式时，提示“Maximum width and height allowed is 16383 pixels for converting webp”错误。问题原因 WebP格式图片的边长限制为16383像素，您的图片超过了这个限制。解决方案 在转换存储...
功能特性
挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据，建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...
格式转换
通过格式转换参数，您无需将图片下载到本地进行转换，只需指定URL转换存储在OSS内原图的格式。本文介绍对图片进行格式转换时所用到的参数及示例。使用场景 适应不同设备和平台：不同的浏览器、操作系统或移动设备可能支持不同的图片格式。...
revert-versioning（恢复版本）
ossutil64 revert-versioning oss:/examplebucket-r-start-time 1592295778-end-time 1592296778 将所有匹配指定条件且已删除的Object恢复为最近的版本 结合-r 选项，将目标存储空间examplebucket下所有格式为TXT且已删除的Object恢复为...
使用Go语言驱动
本文介绍如何使用Go语言驱动连接表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港、...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
JDBC连接表格存储
本文介绍如何使用JDBC访问表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港、新加坡、...
音频转码
存储空间优化：高品质无损音频（如FLAC）占用大量存储空间，为了在移动设备上节省空间，用户会选择将其转码为有损但压缩率高的格式，如MP3。在线流媒体服务：在线音乐平台或广播电台会将原始音频文件转码成多种比特率版本，以适应不同网络...
对象存储优化
存储空间清单功能以周为单位，对您存储空间内的对象进行扫描，扫描完成后会生成CSV格式的清单报告，并存储到您指定的存储空间内。在清单报告中，您可以有选择地导出指定对象的元数据信息，如文件大小、加密状态等。数据监控 OSS监控服务 为...
获取存储空间的存储容量
print(result.live_channel_count)#此次调用获取到的存储信息的时间点，格式为时间戳，单位为秒。print(result.last_modified_time)#获取标准存储类型Object的存储量，单位为字节。print(result.standard_storage)#获取标准存储类型的...
GetBucketStat
父节点：BucketStat 子节点：无 LastModifiedTime 正整数 1643341269 获取到的存储信息的时间点，格式为时间戳，单位为秒。父节点：BucketStat 子节点：无 StandardStorage 正整数 430 标准存储类型的存储量，单位字节。父节点：BucketStat...
获取存储空间的存储容量
fmt.Println("Bucket Stat Live Channel Count:",stat.LiveChannelCount)/此次调用获取到的存储信息的时间点，格式为时间戳，单位为秒。fmt.Println("Bucket Stat Last Modified Time:",stat.LastModifiedTime)/获取标准存储类型Object的...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
归档存储服务等级协议
数据可迁移性 归档存储存储的对象是用户文件，文件类型维持原有格式不变。用户使用归档存储时，可随时访问、下载其文件，并根据需要自行保存或迁出。2.4.数据私密性 用户可在阿里云官网开通归档存储服务，阿里云为用户分配AccessId和...
NAS存储卷FAQ
使用NAS存储卷时，提示chown:Operation not permitted 使用NAS动态存储卷时，Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 使用NAS存储卷时，无法创建或修改目录 当工作负载挂载NAS存储卷时，提示unknown filesystem ...
查看选项
o option_name[=option_value]或者-ooption_name[=option_value]例如在挂载时指定uid和gid参数：ossfs bucket_name mount_point-ourl=endpoint-ouid=uid-ogid=gid ossfs常用选项如下：url：用于指定存储空间的访问域名，格式为 url=...
OSS中的透明图片添加水印不生效
问题描述 为存储在阿里云对象存储OSS中的图片文件增加水印时，水印不生效。问题原因 图片水印不支持原图有 透明图 层。添加水印时是以原图颜色为背景色，将水印图片融合进入RGB通道，Alpha通道保留原值。Alpha通道只有两个值（全透明或者不...
实例操作
命令格式如下，用于开通表格存储服务。enable_service 返回结果如下：Your service is enabled.创建实例 在指定地域下创建一个实例。注意 实例名需要在地域内全局唯一。如果出现实例名冲突错误，请重新命名。命令格式 create_instance-d ...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
命令行工具ossutil快速入门
创建Bucket 命令格式 ossutil mb oss:/bucket 使用示例 创建名为examplebucket的存储空间。ossutil mb oss:/examplebucket 以下输出结果表明已成功创建examplebucket。0.668238(s)elapsed 有关创建Bucket的更多示例，请参见 mb（创建存储...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
服务地址
每个 表格存储 实例对应一个服务地址（Endpoint），应用程序进行表和数据操作时需要指定服务地址。不同访问场景下需使用相应的服务地址格式。说明 每个地域对应的RegionID请参见 地域。服务地址类型 服务地址包括公网地址、公网（双栈）...
异常处理
InvalidArgument 参数格式错误 InvalidAccessKeyId AccessKeyId不存在 InvalidBucketName 无效的存储空间名称 InvalidDigest 无效的摘要 InvalidObjectName 无效的文件名称 InvalidPart 无效的分片 InvalidPartOrder 无效的分片顺序 ...
概述
您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储。文件存储NAS 阿里云文件存储NAS（Network Attached Storage）是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统，可共享访问、弹性扩展。...
阿里云存储服务
您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储。阿里云为您的云服务器ECS提供了丰富的 块存储产品类型，包括基于分布式存储架构的云盘以及基于物理机本地硬盘的本地盘产品。其中：云盘是阿里云为云服务器ECS提供的数据块级别...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
- 产品推荐
- 这些文档可能帮助您