sync命令用于将本地文件同步到OSS。
注意事项
-
要将本地文件同步到OSS,您必须具有oss:PutObject、oss:ListObjects和oss:DeleteObject权限。具体操作,请参见为RAM用户授予自定义的权限策略。
-
sync命令与cp命令的区别
-
通过sync命令将数据同步到OSS时,ossutil支持通过--delete选项将目的端存在而源端不存在的文件都删除,仅保留本次同步的文件。cp命令不支持--delete选项。
-
sync工作方式是同时扫描源和目的端,然后再拷贝;cp工作方式是边扫描源端,边拷贝。
-
sync源文件数量默认是 200W,最大是500W;cp源文件数量无限制。
-
-
使用
-u, --update选项时,系统会对每个待检查文件(无论目标文件是否存在)至少发起一次 HEAD 请求以进行比对。在数据变更较少的场景下,将产生大量低效请求,可能影响性能并带来额外的请求费用。建议结合实际业务情况评估后再谨慎使用,避免不必要的资源消耗。
命令格式
ossutil sync file_url cloud_url
|
参数 |
类型 |
说明 |
|
file_url |
string |
待同步的本地文件夹路径。例如Linux系统文件路径 |
|
cloud_url |
string |
OSS文件夹路径。格式为 |
|
--acl |
string |
对象的访问权限。取值:
|
|
--backup-dir |
string |
备份文件的目录。 |
|
--bigfile-threshold |
int |
开启大文件分片上传、下载或拷贝的阈值(默认值104857600)。 |
|
--cache-control |
string |
指定该对象被下载时网页的缓存行为。 |
|
--checkpoint-dir |
string |
断点续传信息的指定目录(默认值 |
|
--checksum |
/ |
仅拷贝文件大小和校验和(如果存在)不一致的源文件,仅当对象间拷贝有效。 |
|
--content-disposition |
string |
指定对象的展示形式。 |
|
--content-encoding |
string |
声明对象的编码方式。 |
|
--content-type |
string |
对象的内容类型。 |
|
--copy-props |
string |
确定从源对象复制哪些属性。取值:
|
|
--delete |
/ |
删除目标中存在但源中不存在的文件。 |
|
-d, --dirs |
/ |
返回当前目录下的文件和子目录,而非递归显示所有子目录下的所有文件。 |
|
--encoding-type |
string |
输入的对象名或文件名的编码方式。取值:url。 |
|
--end-with |
string |
按字母排序,返回设定值之前的对象,包含设定值。 |
|
--exclude |
stringArray |
路径或文件名的排除规则。 |
|
--exclude-from |
stringArray |
从规则文件里读取排除规则。 |
|
--expires |
string |
指定缓存内容的绝对过期时间。 |
|
--files-from |
stringArray |
从文件中读取源文件名列表,忽略空行或注释行。 |
|
--files-from-raw |
stringArray |
从文件中读取源文件名列表。 |
|
--filter |
stringArray |
路径或文件名过滤规则。 |
|
--filter-from |
stringArray |
从规则文件读取过滤规则。 |
|
-f, --force |
/ |
强制操作,不进行询问提示。 |
|
--include |
stringArray |
路径或文件名的包含规则。 |
|
--include-from |
stringArray |
从规则文件里读取包含规则。 |
|
-j, --job |
int |
多文件操作时的并发任务数(默认值3)。 |
|
--list-objects |
/ |
使用ListObjects接口列举对象。 |
|
--min-age |
Duration |
仅传输修改时间在指定时间间隔前的文件,默认单位是秒,可以使用单位后缀形式。例如 1h,表示1小时。 说明
|
|
--max-age |
Duration |
仅传输修改时间在指定时间间隔内的文件,默认单位是秒,可以使用单位后缀形式。例如 1h,表示1小时。 说明
|
|
--min-mtime |
Time |
仅传输修改时间在指定时间之后的文件,时间格式:UTC时间。例如2006-01-02T15:04:05。 说明
|
|
--max-mtime |
Time |
仅传输修改时间在指定时间之前的文件,时间格式:UTC时间,例如 2006-01-02T15:04:05。 |
|
--max-size |
SizeSuffix |
限制传输的最大文件大小,默认是字节,或单位后缀形式B|K|M|G|T|P,1K(KiB)=1024B。 |
|
--max-sync-num |
int |
要同步的最大文件或对象数(默认值2000000),不大于5000000。 |
|
--metadata |
strings |
指定对象的用户元数据,使用key=value格式。 |
|
--metadata-directive |
string |
指定如何设置目标对象的元数据。取值:
|
|
--metadata-exclude |
stringArray |
对象元数据的排除规则。 |
|
--metadata-filter |
stringArray |
对象元数据过滤规则。 |
|
--metadata-filter-from |
stringArray |
从规则文件读取对象元数据过滤规则。 |
|
--metadata-include |
stringArray |
对象元数据的包含规则。 |
|
--min-size |
SizeSuffix |
限制传输的最小文件大小,默认是字节,或单位后缀形式B|K|M|G|T|P,1K(KiB)=1024B。 |
|
--no-progress |
/ |
不显示进度条。 |
|
--page-size |
int |
批量处理时分页列举对象的最大值(默认值1000),取值范围1~1000。 |
|
--parallel |
int |
单文件内部操作的并发任务数。 |
|
--part-size |
SizeSuffix |
分片大小,默认情况下根据文件大小自行计算合适的分片大小值。取值范围100KiB~5GiB。 |
|
-r, --recursive |
/ |
递归进行操作。当指定该选项时,命令会对存储空间下所有符合条件的对象进行操作,否则只对路径指定的对象进行操作。 |
|
--request-payer |
string |
请求的支付方式,如果为请求者付费模式,请设置该值。取值:requester。 |
|
--size-only |
/ |
仅拷贝文件大小不一致的源文件。 |
|
--start-after |
string |
按字母排序,返回设定值之后的对象,不包含设定值。 |
|
--storage-class |
string |
对象的存储类型。取值:
|
|
--tagging |
strings |
指定对象的标签。使用key=value格式。 |
|
--tagging-directive |
string |
指定如何设置目标对象的标签。取值
|
|
-u, --update |
/ |
跳过目标端已存在且修改时间比源文件更新的文件。 说明
如果目标端已存在的文件的修改时间与源文件的修改时间相同,则将更新该文件。 |
|
--ignore-existing |
/ |
跳过已存在的目标文件。 |
关于支持的全局命令行选项,请参见支持的全局命令行选项。
使用示例
-
将本地localfolder文件夹同步到OSS。
ossutil sync D:/localfolder/ oss://examplebucket/destfolder/ -
将本地localfolder文件夹的.txt文件同步到OSS。
ossutil sync D:/localfolder/ oss://examplebucket/destfolder/ --include "*.txt" -
将本地localfolder文件夹的非.txt文件同步到OSS。
ossutil sync D:/localfolder/ oss://examplebucket/destfolder/ --exclude "*.txt" -
同步本地文件夹到OSS,并删除OSS指定路径下已存在而本地端不存在的文件。
通过增加--delete选项,删除目的端存在而源端不存在的文件,仅保留本次同步的文件。
ossutil sync D:/localfolder/ oss://examplebucket/destfolder/ --delete