获取存储空间元数据
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何获取存储空间元数据。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用...数据湖构建DLF 创建集群选择了DLF统一元数据时，则可以将元数据存储在阿里云数据湖构建（Data Lake Formation）中。
事件告警
告警的处理方式 元数据空间不足 告警原因 元数据空间指的是SMB或NFS共享所对应的缓存盘中用于存储元数据的空间，主要包括目录结构等信息，文件数目越多，使用的元数据空间也就越大。共享使用的缓存盘由数据空间和元数据空间组成，默认20%的...
数据转发到表格存储（Tablestore）
设备元数据（例如设备标签、属性和状态数据）具有高频更新、查询能力要求高等特点，可用于设备管理、设备圈选、设备状态查询，需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储（Tablestore）的...
数据转发到表格存储（Tablestore）宽表模型
设备元数据（例如设备标签、属性和状态数据）具有高频更新、查询能力要求高等特点，可用于设备管理、设备圈选、设备状态查询，需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储（Tablestore）的...
时序数据存储概述
具体API，请参见：API 描述 WriteDevicesHotStorageData 将设备自定义Topic数据写入时序数据存储空间。QueryDevicesHotStorageDataStatus 查询设备时序数据的快照数据。QueryDevicesHotStorageData 查询设备时序数据。时序数据存储默认有...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
常见问题
OSS存储空间容量无限制，存储空间使用量取决于您的实际使用量。关于存储空间用量查询的更多信息，请参见 查询Bucket级别的用量情况。ossfs是否支持在Windows环境中挂载存储空间？不支持。您可以在Windows环境下，通过以下两种方式挂载OSS...
处理存储空间不足问题
数据库实例的空间使用率是日常需要重点关注的监控项之一，如果实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本章节介绍如何通过DAS查看、处理和预防数据库存储空间不足的问题。...
通用型NAS计费
按量付费：费用=每小时通用型NAS（容量型/性能型/高级型）存储空间最大存储容量（峰值）×容量型/性能型/高级型月单价÷30（天）÷24（小时）NAS资源包 容量型NAS：每1 GiB通用型资源包基准容量能抵扣1 GiB容量型NAS存储容量。高级型NAS：...
时序模型计量计费
单月费用：1 TB*0.3元/GB/月*1月=300元 数据写入 容量型按量写吞吐量单价为0.002元/万CU。单个设备每次写吞吐量：10 KB/1 KB=10 CU 单月费用：10 CU*1月/1分钟*0.002元/万CU=864元 数据读取 容量型按量读吞吐量单价为0.004元/万CU。单个...
管理Paimon Catalog
filesystem类型仅将元数据存储在OSS中，而dlf类型除了将元数据存储在OSS上外，还会将元数据同步到阿里云数据湖构建服务DLF中。您可以根据需要，选择相应的元数据存储类型。UI方式（推荐）进入元数据管理页面。登录 实时计算控制台。在 ...
SmartData常见问题
HDFS存储时，不能弹性伸缩，预算不足就会面临存储空间不足，或者存在空间浪费的情况。阿里云OSS是海量对象存储，支持弹性伸缩，具有归档存储功能，可以备份冷数据。JindoFS基于OSS，支持数据冷热分层和数据归档存储策略，使用得当，整体上...
存储费用
计费说明 项目 说明 计费公式 存储费用=存储空间×存储单价×存储时长 存储空间的值取计费周期（1小时）内起始时刻的存储空间占用量。例如，计算05:00到06:00的存储大小，取05:00这个时刻的实例存储空间占用量。1个计费周期内，若存储时长...
宽表模型介绍
主键列表中第一个主键将作为分区键，按照分区键值的范围将数据负载均衡到多个分区(Partition)中。支持多版本数据存储以及数据生命周期管理，可以有效的管理数据，减少数据存储空间，降低存储成本。使用宽表模型 您可以通过以下方式进行表...
基本概念
存储空间（Bucket）存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。同...
GetMetaQueryStatus
调用 GetMetaQueryStatus 接口获取指定存储空间（Bucket）的元数据索引库信息。注意事项 要获取存储空间的元数据索引库信息，您必须有 oss:GetMetaQueryStatus 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。请求语法 GET/?...
Spark应用配置参数说明
无 spark.adb.executorDiskSize 否 在Spark Executor节点中挂载的额外磁盘容量,应用于Shuffle数据写入。默认挂载目录为/shuffle_volume。取值范围为(0,100]，单位为GiB，例如：spark.adb.executorDiskSize=50Gi，表示将Spark Executor节点...
云存储网关软件版公测
53.3 MB/s 222.5 MB/s 35.0 MB/s 32个线程同时从挂载点拷贝文件至本地（每个线程1个5 GB文件）346.9 MB/s 349.8 MB/s 248.2 MB/s 从上面的结果可以得出结论：数据写入的场景下，云存储网关软件版由于是异步上传，数据落盘之后即返回。...
OOM常见问题排查指南
计算前置，将清洗好的数据写入Hologres，避免在Hologres进行大型ETL操作。增加过滤条件。SQL优化：例如使用Fixed Plan、count distinct优化等，详情请参见 优化内部表的性能。UnionALL 如下所示，当SQL中含有大量 union all subquery 时，...
数据服务集群
图片、视频、网页等中对象，物联网的时序数据和车联网的空间数据等需要支持海量数据和较高写入性的数据存储场景。DataServing基于读写延迟低，并发高等特点，支持Feed流场景。技术架构 EMR HBase目前支持两种架构，一种是传统的基于HDFS存...
logging（日志转存）
使用示例 获取存储空间examplebucket的日志转存配置，并将配置结果写入本地文件 localfile.txt。ossutil64 logging-method get oss:/examplebucket localfile.txt 以下输出结果表明已成功获取日志转存配置。0.212407(s)elapsed 获取存储...
什么是文件存储NAS
物理空间再次被分配时，对应的存储空间会被再次清零，之后再被新写入数据覆盖，在没有写入过的地址读取数据，将会返回全零。使用方式 您可以通过阿里云提供的以下途径创建、使用或者释放NAS：通过控制台管理NAS NAS提供Web服务页面，您可以...
常见问题
按量模式 根据业务的实时读写吞吐量、存储空间等资源计费，无需提前规划硬件资源消耗。此模式适用于业务峰谷变化较大，不可预测的场景。按量模式提供的弹性能力能够保障应用系统应对突发流量，是对于业务稳定场景的更优选择。重要 按量模式...
按写入数据量计费
计费项 日志服务按写入数据量计费项如下：写入数据量（原始值）存储空间-日志热存储 存储空间-日志低频存储 存储空间-日志归档存储 外网读取流量 更多信息，请参见 按写入数据量计费模式计费项。计费周期 日志服务计费周期为天，即当天的...
写入
元数据写入 Timestream支持元数据同步写入。Timestream支持写入和删除元数据。重要 写入时间线元数据会覆盖该时间线元数据的原有数据。示例代码 写入数据点。构造时间线标识。TimestreamIdentifier identifier=new TimestreamIdentifier....
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
产品架构
Follower和Observer将元数据写入请求路由到Leader节点，Leader更新完数据后，会通过BDB JE同步给Follower和Observer。必须有半数以上的Follower节点同步成功才算元数据写入成功。Leader从Follower中选出，进行选主需要实例中有半数以上的...
查看选项
public_bucket 指定用户通过匿名方式访问存储空间，该选项仅对ACL为public-read-write的存储空间有效。可选参数为：0（默认值）：不使用匿名方式访问。1：使用匿名方式访问。passwd_file 用于指定保存存储空间访问密钥的文件，默认为/etc/...
功能特性
创建存储空间 存储空间清单 OSS支持清单功能，您可以使用存储空间清单功能导出指定对象的元数据信息，如文件大小、加密状态等。存储空间清单 资源组 资源组是一种基于资源的权限管理方式。您可以根据不同的业务需求对存储空间（Bucket）...
时序模型介绍
使用时序模型时，时间线数据占用的存储空间类型与所用实例规格（容量型存储或高性能存储）一致，时间线元数据占用的存储空间为高性能存储，查询与分析时序表中数据时会消耗计算资源。按量模式：时序模型计费项包括时间线数据和时间线元数据...
ODPS-0121096
简而言之，同时写表元数据的作业太多或者元数据写入量太大（如大量分区写入）时，并发写入同一张表元数据的另一个作业可能会加锁超时导致报错。解决方案 您需要检查是否存在同时多次对表或表分区执行读写操作的情况，建议不要同时对一张表...
存储空间地域属性
✓ ✓ 敏感数据保护 OSS敏感数据保护是一款识别、分类、分级和保护存储空间（Bucket）中敏感数据的原生服务，可满足数据安全、个人信息保护等相关法规的合规要求。✓×保留策略 OSS支持WORM特性，允许用户以“不可删除、不可篡改”方式保存...
新功能发布记录
2021-10-19 全部 基于最后一次访问时间的生命周期规则 2021年9月 功能名称 功能概述 发布时间 支持地域 相关文档 同区域复制 同区域复制（Same-Region Replication）是指将源存储空间（Bucket）中的文件（Object）的创建、更新和删除等操作...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
概述
功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件，采集文件元数据并将元数据索引到元数据存储引擎中，为您提供强大的文件查询、...
使用DLA分析OSS中的事件
通过操作审计创建跟踪，可以持续将事件投递到指定的OSS存储空间中。您可以使用数据湖分析DLA（Data Lake Analytics）可视化地查询和分析OSS存储空间中的事件。前提条件 请确保您已经在操作审计创建了跟踪，并将事件投递到OSS存储空间中。...
对象存储OSS
您可以在一个存储空间内存放无限量的文件，OSS自动将您的数据副本存储至同一地域的不同服务器，所有数据副本共享阿里云的高性能基础设施能力。安全性 阿里云对象存储OSS（Object Storage Service）具有丰富的安全防护能力，支持服务端加密...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
- 产品推荐
- 这些文档可能帮助您