为什么清单规则创建失败?

Bucket内的文件数量超出限制 OSS支持按天或按周导出存储空间清单文件。按天导出清单文件时,Bucket内的文件数量需小于100亿。按周导出清单文件时,Bucket内的文件数量需小于500亿。解决方法:当Bucket内的文件数量大于等于100亿时,建议按...

使用OSS清单功能备份大数据量OSS文件

使用对象存储OSS的清单功能可以周期性生成清单文件。在大数据量的OSS备份场景中,云备份 使用OSS清单功能进行备份,可显著提升备份的效率和性能。云备份 提供了灵活的备份策略配置选项,可以将数据备份到云端,并随时查看和恢复数据。本文...

开通并配置OSS存储分析

背景信息 OSS提供了存储清单功能,配置该功能后会定期为Bucket生成清单文件清单文件中保存了OSS Bucket中Object的数量,大小等存储信息。EMR Doctor借助您Bucket中最新的清单文件,分析该Bucket的数据使用,健康状态以及与Hive存储分析...

存储空间清单

在您删除清单规则前,OSS会按照清单规则一直生成清单文件,会产生一定的存储费用。为避免产生不必要的费用,请及时清理不再需要的清单文件。使用限制 对于单个Bucket,通过SDK或者命令行工具ossutil最多可配置1000条清单规则,通过OSS管理...

GetBucketInventory

格式为:acs:ram:uid:role/rolename 父节点:OSSBucketDestination Bucket 字符串 存放导出的清单文件的存储空间。父节点:OSSBucketDestination Prefix 字符串 清单文件的存储路径前缀。父节点:OSSBucketDestination Encryption 容器 ...

0005-00000203

问题描述 创建Bucket清单时,指定清单文件为SSE-KMS加密;或者在设置Bucket加密为KMS时,指定了 KMSDataEncryption 选项,但该选项的值不是 SM4。问题原因 创建Bucket清单时,指定清单文件为SSE-KMS加密,但指定的CMK不是对称密钥;设置...

PutBucketInventory

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。请求语法 重要 请求头中的inventoryId为必选参数,取值与请求参数中的Id保持一致。仅华北1(青岛)、华北5(呼和浩特)、德国(法兰克福)以及澳大利亚...

存储空间占用情况

OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据,这些数据均存储于Bucket中的.dlsdata/路径下,并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...

0005-00000201

问题描述 创建Bucket清单时(PutBucketInventory)指定清单文件为KMS方式加密,返回了这个错误。问题原因 创建Bucket清单时(PutBucketInventory)指定清单文件为KMS方式加密,但这个地域并不支持KMS加密。问题示例 PUT/?inventory&...

inventory(清单

例如,将清单规则名称设置为inventorytest,以周为单位将清单报告导出至目标存储空间destbucket,清单内容中包含destbucket中与前缀dir/匹配的所有文件的存储类型、其最后更新时间以及分片上传状态等,并使用AES256加密算法加密清单文件。...

ListBucketInventory

格式为:acs:ram:uid:role/rolename 父节点:OSSBucketDestination Bucket 字符串 存放导出的清单文件的存储空间。父节点:OSSBucketDestination Prefix 字符串 清单文件的存储路径前缀。父节点:OSSBucketDestination Encryption 容器 ...

导出清单

使用清单导出功能,您可以将某个Bucket下的OSS-HDFS服务的文件清单导出到某个特定路径,格式为JSON文件,方便您对元数据进行统计分析。前提条件 使用最新版本JindoSDK。下载地址,请参见 GitHub。配置OSS-HDFS服务下Bucket的访问密钥。具体...

UpdatePolicyBinding-修改策略与数据源关联

建议备份 1 亿以上 OSS 对象采用清单提升增量性能,由清单文件产生的存储费用由 OSS 服务单独收取。OSS 清单文件生成需要时间,在 OSS 清单文件生成完成之前可能会备份失败,可以等待下个周期执行。30663060 InventoryCleanupPolicy string...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置:#include<alibabacloud/oss/OssClient.h>using namespace AlibabaCloud:OSS;int main(void){/*初始化...

使用限制

生成OSS清单文件需要时间,在使用时有以下限制:备份任务触发时,如果没有任何OSS清单文件,则备份任务直接失败。备份任务触发时,如果有OSS清单文件,但是和上次相比没有更新,则备份任务失败。备份任务触发时,只会使用最近一次生成的OSS...

CreatePolicyBindings-创建策略与数据源关联

建议备份 1 亿以上 OSS 对象采用清单提升增量性能,由清单文件产生的存储费用由 OSS 服务单独收取。OSS 清单文件生成需要时间,在 OSS 清单文件生成完成之前可能会备份失败,可以等待下个周期执行。oss-inventory-default ...

0020-00000017

Frequency 用于指定清单文件导出的周期。取值如下:Daily:按天导出清单文件。Weekly:按周导出清单文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 ...

0020-00000020

取值如下:Daily:按天导出清单文件。Weekly:按周导出清单文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 Oct 2016 12:00:00 GMT Authorization:...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置:package main import("fmt""github.com/aliyun/aliyun-oss-go-sdk/oss" "os" )func main(){/从环境...

存储空间清单

optional_fields=[FIELD_SIZE,FIELD_LAST_MODIFIED_DATE,FIELD_STORAG_CLASS,FIELD_ETAG,FIELD_IS_MULTIPART_UPLOADED,FIELD_ENCRYPTION_STATUS]#创建存放清单文件的目标Bucket配置。bucket_destination=InventoryBucketDestination(#目标...

0020-00000027

Format 节点用于指定清单文件的文件格式。清单文件导出后的格式为使用GZIP压缩的CSV文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 Oct 2016 12:00:...

0020-00000012

Format 节点用于指定清单文件的文件格式。清单文件导出后的格式为使用GZIP压缩的CSV文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 Oct 2016 12:00:...

功能概览

阿里云NAS收取公网读取文件费用和存储文件费用,阿里云OSS收取存储文件费用计费详情请参见 阿里云NAS计费概述 和 阿里云OSS计费概述。安装客户端 同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前,您需要在数据源...

DescribePolicyBindings-查询绑定策略列表

建议备份 1 亿以上 OSS 对象采用清单提升增量性能,由清单文件产生的存储费用由 OSS 服务单独收取。OSS 清单文件生成需要时间,在 OSS 清单文件生成完成之前可能会备份失败,可以等待下个周期执行。inventory_test InventoryCleanupPolicy ...

使用COPY或UNLOAD命令导入或导出数据到OSS

Manifest清单文件必须是JSON格式,由以下元素构成:entries:数组,表示清单内具体的OSS文件列表,可以位于不同的Bucket或拥有不同的路径前缀,但需要能够使用相同的AccessKey ID或AccessKey Secret访问。示例如下:{"entries":[{"url":...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。以下代码用于为某个Bucket添加清单配置。const OSS=require('ali-oss');const client=new OSS({/yourBucketName填写存储空间名称。bucket:'yourBucketName',...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置。using Aliyun.OSS;using Aliyun.OSS.Common;yourEndpoint填写Bucket所在地域对应的Endpoint。以华东1...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

创建OSS恢复任务

使用 云备份 将OSS备份到云上备份库后,OSS中文件丢失或者受损时,您可以根据历史备份,将 全量文件 或者 满足条件的部分文件 进行恢复,可以 免费恢复至源OSS 或者 免费恢复至一个新的OSS。前提条件 已创建OSS备份计划并完成备份。具体...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置:import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import ...

迁移实施

列表位置 是 清单文件所在的存储空间,可选择 Alibaba OSS 或 AWS S3。列表域名 或 区域 是 当 列表位置 选择 Alibaba OSS 时,输入OSS清单所在的地域。当 列表位置 选择 AWS S3 时,输入AWS S3清单的访问域名。更多信息,请参见 Amazon S3...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储HDFS版 文件存储 CPFS 数据库文件存储 云备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用