为什么清单规则创建失败?

Bucket内的文件数量超出限制 OSS支持按天或按周导出存储空间清单文件。按天导出清单文件时,Bucket内的文件数量需小于100亿。按周导出清单文件时,Bucket内的文件数量需小于500亿。解决方法:当Bucket内的文件数量大于等于100亿时,建议按...

使用OSS清单功能备份大数据量OSS文件

使用对象存储OSS的清单功能可以周期性生成清单文件。在大数据量的OSS备份场景中,云备份 使用OSS清单功能进行备份,可显著提升备份的效率和性能。云备份 提供了灵活的备份策略配置选项,可以将数据备份到云端,并随时查看和恢复数据。本文...

开通并配置OSS存储分析

背景信息 OSS提供了存储清单功能,配置该功能后会定期为Bucket生成清单文件清单文件中保存了OSS Bucket中Object的数量,大小等存储信息。EMR Doctor借助您Bucket中最新的清单文件,分析该Bucket的数据使用,健康状态以及与Hive存储分析...

如何判断是否已生成清单文件

本文介绍判断清单文件是否已生成的两种方式。清单规则配置示例 假设您通过控制台设置清单报告规则时仅配置以下必选参数,其他参数保持默认配置。配置项 示例值 规则名称 rule1 存储清单Bucket examplebucket 关于配置清单规则的具体操作,...

0005-00000203

问题描述 创建Bucket清单时,指定清单文件为SSE-KMS加密;或者在设置Bucket加密为KMS时,指定了 KMSDataEncryption 选项,但该选项的值不是 SM4。问题原因 创建Bucket清单时,指定清单文件为SSE-KMS加密,但指定的CMK不是对称密钥;设置...

存储空间清单

您可以通过两种方式判断是否已生成清单文件,详情请参见 如何判断是否已生成清单文件?使用阿里云SDK 以下仅列举常见SDK配置Bucket清单的代码示例。关于其他SDK的配置Bucket清单代码示例,请参见 SDK简介。Java import ...

GetBucketInventory

格式为:acs:ram:uid:role/rolename 父节点:OSSBucketDestination Bucket 字符串 存放导出的清单文件的存储空间。父节点:OSSBucketDestination Prefix 字符串 清单文件的存储路径前缀。父节点:OSSBucketDestination Encryption 容器 ...

0005-00000201

问题描述 创建Bucket清单时(PutBucketInventory)指定清单文件为KMS方式加密,返回了这个错误。问题原因 创建Bucket清单时(PutBucketInventory)指定清单文件为KMS方式加密,但这个地域并不支持KMS加密。问题示例 PUT/?inventory&...

PutBucketInventory

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。请求语法 重要 请求头中的inventoryId为必选参数,取值与请求参数中的Id保持一致。仅华北1(青岛)、华北5(呼和浩特)、德国(法兰克福)以及澳大利亚...

存储空间占用情况

清单文件作为OSS-HDFS文件系统目录的一部分,存储在/.sysinfo 路径下。您可以通过hdfs du命令查看OSS-HDFS文件清单文件的空间占用情况。OSS-HDFS 回收站 OSS-HDFS回收站中的文件未达到指定保存时间前,并没有从HDFS文件系统中彻底删除,...

为什么很长时间没有产生清单结果?

清单文件的目录结构如下:dest_bucket└─destination-prefix/└─src_bucket/└─inventory_id/├─YYYY-MM-DDTHH-MMZ/│├─manifest.json│└─manifest.checksum└─data/└─745a29e3-bfaa-490d-9109-47086afcc8f2.csv.gz 请根据为...

ListBucketInventory

格式为:acs:ram:uid:role/rolename 父节点:OSSBucketDestination Bucket 字符串 存放导出的清单文件的存储空间。父节点:OSSBucketDestination Prefix 字符串 清单文件的存储路径前缀。父节点:OSSBucketDestination Encryption 容器 ...

0020-00000017

Frequency 用于指定清单文件导出的周期。取值如下:Daily:按天导出清单文件。Weekly:按周导出清单文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 ...

0020-00000020

取值如下:Daily:按天导出清单文件。Weekly:按周导出清单文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 Oct 2016 12:00:00 GMT Authorization:...

UpdatePolicyBinding-修改策略与数据源关联

OSS 清单文件生成需要时间,在 OSS 清单文件生成完成之前可能会备份失败,可以等待下个周期执行。30663060 InventoryCleanupPolicy string 否 备份后是否删除清单文件。仅当使用 OSS 清单时有效。支持:NO_CLEANUP:不删除。DELETE_CURRENT...

0020-00000040

问题描述 当前Bucket中Object的数量超出了以天...当Bucket内的文件数量为 100亿~500亿 时,按周导出清单文件。当Bucket内的文件数量≥500亿时:按前缀匹配分批导出 通过 提交工单 提升导出Bucket文件数量的限制 相关文档 PutBucketInventory

CreatePolicyBindings-创建策略与数据源关联

OSS 清单文件生成需要时间,在 OSS 清单文件生成完成之前可能会备份失败,可以等待下个周期执行。oss-inventory-default InventoryCleanupPolicy string 否 备份后是否删除清单文件。仅当使用 OSS 清单时有效。支持:NO_CLEANUP:不删除。...

使用限制

生成OSS清单文件需要时间,在使用时有以下限制:备份任务触发时,如果没有任何OSS清单文件,则备份任务直接失败。备份任务触发时,如果有OSS清单文件,但是和上次相比没有更新,则备份任务失败。备份任务触发时,只会使用最近一次生成的OSS...

0020-00000027

Format 节点用于指定清单文件的文件格式。清单文件导出后的格式为使用GZIP压缩的CSV文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 Oct 2016 12:00:...

0020-00000012

Format 节点用于指定清单文件的文件格式。清单文件导出后的格式为使用GZIP压缩的CSV文件。正确请求示例如下:PUT/?inventory&inventoryId=report1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Mon,31 Oct 2016 12:00:...

导出清单

使用清单导出功能,您可以将某个Bucket下的OSS-HDFS服务的文件清单导出到某个特定路径,格式为JSON文件,方便您对元数据进行统计分析。前提条件 使用最新版本JindoSDK。下载地址,请参见 GitHub。配置OSS-HDFS服务下Bucket的访问密钥。具体...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置:#include<alibabacloud/oss/OssClient.h>using namespace AlibabaCloud:OSS;int main(void){/*初始化...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置:package main import("fmt""github.com/aliyun/aliyun-oss-go-sdk/oss" "os" )func main(){/从环境...

使用COPY或UNLOAD命令导入或导出数据到OSS

Manifest清单文件必须是JSON格式,由以下元素构成:entries:数组,表示清单内具体的OSS文件列表,可以位于不同的Bucket或拥有不同的路径前缀,但需要能够使用相同的AccessKey ID或AccessKey Secret访问。示例如下:{"entries":[{"url":...

DescribePolicyBindings-查询绑定策略列表

OSS 清单文件生成需要时间,在 OSS 清单文件生成完成之前可能会备份失败,可以等待下个周期执行。inventory_test InventoryCleanupPolicy string 备份后是否删除清单文件。仅当使用 OSS 清单时有效。支持:NO_CLEANUP:不删除。DELETE_...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

存储空间清单

optional_fields=[FIELD_SIZE,FIELD_LAST_MODIFIED_DATE,FIELD_STORAG_CLASS,FIELD_ETAG,FIELD_IS_MULTIPART_UPLOADED,FIELD_ENCRYPTION_STATUS]#创建存放清单文件的目标Bucket配置。bucket_destination=InventoryBucketDestination(#目标...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。以下代码用于为某个Bucket添加清单配置。const OSS=require('ali-oss');const client=new OSS({/yourBucketName填写存储空间名称。bucket:'yourBucketName',...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

Jindo DistCp使用说明

baseName":"2017-02-01/03/6.log","srcDir":"oss:/<yourBucketName>/hourly_table","size":4891}-copyFromManifest 使用-outputManifest 生成清单文件后,您可以使用-copyFromManifest 指定-outputManifest 生成的清单文件,并将dest目录...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置。using Aliyun.OSS;using Aliyun.OSS.Common;yourEndpoint填写Bucket所在地域对应的Endpoint。以华东1...

迁移实施

列表位置 是 清单文件所在的存储空间,可选择 Alibaba OSS 或 AWS S3。列表域名 或 区域 是 当 列表位置 选择 Alibaba OSS 时,输入OSS清单所在的地域。当 列表位置 选择 AWS S3 时,输入AWS S3清单的访问域名。更多信息,请参见 Amazon S3...

存储空间清单

配置清单的源Bucket与存放导出的清单文件所在的目标Bucket必须位于同一个Region。添加清单配置 以下代码用于为某个Bucket添加清单配置:import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库文件存储 文件存储HDFS版 文件存储 CPFS 云备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用