OSS常用管理工具汇总

阿里云对象存储OSS提供了丰富的管理工具,方便高效使用OSS,例如上传大文件到OSS、生成签名、迁移数据、挂载Bucket等。除了阿里云官方提供的工具外,还有由社区开发的第三方工具和插件,这些可以进一步增强和简化OSS的使用。

官方工具

命令行工具

适用于需要通过终端或自动化脚本管理OSS的场景。

工具

简介

ossutil 2.0(推荐)

OSS的新版命令行管理工具。

  • 支持多级命令(高级命令和API级命令),用于管理BucketObject,支持文件并发上传、断点续传、目录上传下载等。

  • 支持外部访问凭证、OIDC凭证,实例角色访问凭证模式支持自动获取角色名。

  • 支持使用--output-format修改输出格式,默认为原始格式输出,即XML或者文本,可设置为JSON、YAML、XML格式。

ossutil 1.0

OSS的命令行管理工具。

  • 提供BucketObject的管理命令。

  • 支持文件并发上传、断点续传。

  • 支持文件目录(文件夹)的上传下载。

阿里云CLI

阿里云资源的统一命令行管理工具。可通过使用阿里云CLI统一的命令格式,快速管理在OSS中的数据。具体操作,请参见使用阿里云CLI管理OSS中的数据

osscmd(已下线)

已于2019731日下线的命令行工具,其功能已被ossutil替代。

  • 提供完备的Bucket、Object管理命令。

  • 支持Windows、Linux平台。

使用限制:

  • 仅适用于Python2.5~2.7版本,不支持Python 3.x版本。

  • 不支持低频访问、归档存储、冷归档存储、深度冷归档存储、跨区域复制、镜像回源等功能。

图形化管理工具

适用于通过图形化界面直观浏览和管理文件的场景。

工具

简介

ossbrowser 2.0(推荐)

全新升级的图形化管理工具。

  • ossbrowser 2.0作为老版ossbrowser的升级版,支持其大部分功能。

  • 新增阿里云APP、支付宝、钉钉扫码等方式登录。

  • 新增将Bucket添加到收藏列表功能。

  • 新增浏览文件时进行编辑。

  • 全新升级的界面交互操作,着重提升文件管理操作以及传输的友好度和便捷度。

ossbrowser

图形化的管理工具。

  • 提供类似Windows资源管理器的功能。

  • 支持直接浏览文件。

  • 支持文件目录(文件夹)的上传下载。

  • 支持文件并发上传、断点续传。

  • 支持RAM 用户的图形化Policy授权操作。

  • 支持Windows、Linux、Mac平台。

使用限制:

  • ossbrowser是图形化工具,传输速度和性能不如命令行工具ossutil。

  • 只支持 5 GB以下的文件移动或复制。

  • 单文件上传最大不能超过48.8 TB。

数据迁移与同步工具

用于将数据从其他源迁移或同步到 OSS。

工具

简介

在线迁移服务(推荐)

免开发、可视化的统一在线迁移服务,仅需通过简单配置,即可高效、安全地将海量数据从不同来源集中迁移至OSS。

支持包括AWS S3、腾讯云 COS、华为云 OBS、火山云 TOS、谷歌云 GCS、微软 Azure Blob等在内的多种存储服务,亦支持兼容 S3 协议的自建对象存储。迁移时无需搭建迁移环境,可在线提交迁移任务并随时监控迁移过程

离线迁移(闪电立方)

数据迁移服务。通过定制化的迁移设备—闪电立方,实现TBPB级别的本地数据迁移上云,致力于提高大规模数据传输效率、解决数据传输安全问题等难题。

适合数据中心整体上云、大型企业归档文件及历史影像资料等场景。离线迁移(闪电立方)专为 TB 级至 PB 级的大规模数据迁移设计,通过物理介质完成数据采集和传输,彻底避免公网带宽瓶颈,显著提升迁移效率。

ossimport

OSS数据同步工具。

  • 可将各类第三方数据源文件同步到OSS上。

  • 支持分布式部署,可使用多台服务器批量迁移数据。

  • 支持TB级以上数据迁移。

  • 支持Windows、Linux平台。

  • 适用于Java 7。

文件系统挂载工具

将 OSS Bucket 挂载为本地文件系统目录,像操作本地文件一样操作云端对象。

工具

简介

ossfs 2.0(推荐)

ossfs 2.0版本是面向新形态计算密集型应用进行了全面重构的版本,实现了性能的全面升级,但对POSIX语义进行了部分限制,是未来的主线演进版本。如果正在开展AI训练、推理、自动驾驶仿真等新型应用,且不方便使用OSS SDK使用OSS Connector for AI/ML加速模型训练,强烈建议使用ossfs 2.0

  • 提供基础的POSIX兼容性,聚焦于发挥OSS的服务端读写能力。

  • 通过端到端的读写链路优化,提供了高效的大文件顺序读写能力。

  • 通过高效的元数据管理能力,提供了高效的小文件并发加载能力。

使用限制:

使用ossfs 2.0将远程Bucket数据及功能映射到本地文件系统时存在如下限制:

  • 权限要求:需确保AccessKey对目标Bucket或前缀(prefix)相关资源拥有全部权限,否则可能导致挂载失败或功能异常。

  • 存储类型限制:不支持挂载归档存储、冷归档存储、深度冷归档存储类型的Bucket。

  • 文件名限制:文件名长度上限255字符(遵循Linux限制),OSS中超过此限制的文件或目录在挂载点内不可见。

  • 文件写入限制:不支持随机写入。默认写入不可追加的OSS对象。写入分片大小默认是8388608字节(8 MiB),即最大支持83886080000字节(78.125 GiB)的文件写入。分片大小可根据挂载选项upload_buffer_size配置。

  • 重命名操作(非原子性)

    • 文件:先拷贝后再执行远端文件的删除操作。

    • 目录:对所有文件执行拷贝操作后,再批量执行源文件的删除操作。目录重命名时默认限制子孙文件数量为200 万,限制的子孙文件数量可根据挂载选项rename_dir_limit配置。

  • 并发写入一致性:多客户端同时挂载同一Bucket并写入同一文件时,无法保证数据一致性。

  • POSIX API兼容性:部分兼容,具体请参见POSIX API支持情况

ossfs 1.0

Bucket挂载工具。ossfs 1.0用于将OSSBucket挂载到Linux系统的本地文件系统中,挂载后可通过本地文件系统操作OSS上的Object,实现数据的访问和共享。

  • 支持POSIX文件系统的大部分功能,包括文件读写、目录、链接操作、权限、UID、GID、以及扩展属性(Extended Attributes)。

  • 支持使用OSSMultipart功能上传大文件。

  • 支持MD5校验,保证数据完整性。

使用限制:

使用ossfs 1.0将远程Bucket数据及功能映射到本地文件系统时存在如下限制:

  • 不适合高并发读写的场景。

    说明
    • ossfs 1.0的实现中读写均需要落盘。在高并发读写的场景下,磁盘性能对于读和写均是瓶颈。

    • ossfs 1.0的实现中并发的读写请求之间存在竞争,影响带宽。

  • 不支持文件硬链接。

  • 不支持挂载归档存储、冷归档存储或者深度冷归档存储类型Bucket。

  • 编辑已上传文件会导致文件被重新上传。

  • 元数据操作,例如list directory,因为需要远程访问OSS服务器,所以性能较差。

  • 重命名文件或文件夹可能会出错。若操作失败,可能会导致数据不一致。

  • 多个客户端挂载同一个OSS Bucket时,数据一致性需自行维护。建议合理规划文件使用时间,避免出现多个客户端写同一个文件的情况。

说明

建议优先使用云存储网关进行Bucket挂载。具体操作,请参见通过云存储网关挂载OSS

AI 工具

用于在AI场景中高效访问和存储OSS数据。

工具

简介

OSS Connector for AI/ML

PyTorch训练任务中高效访问和存储OSS数据的Python库。

  • 支持构建适合随机访问,方便在训练过程中快速获取特定数据的映射式数据集。

  • 支持构建适合流式顺序访问,也能处理连续的数据流的可迭代式数据集。

  • 支持创建用于将训练过程中的检查点直接加载至OSSOssCheckpoint对象。

使用限制:

  • 操作系统:Linux x86-64

  • glibc:>=2.17

  • Python:3.8-3.12

  • PyTorch: >=2.0

  • 使用OSS Checkpoint功能需Linux内核支持userfaultfd

FTP工具

工具

简介

ossftp

管理ObjectFTP工具。

  • 使用FileZilla、WinSCP、FlashFXPFTP客户端操作OSS。

  • 本质是FTP Server,用于接收FTP请求,会将文件、文件夹的操作映射为对OSS的操作。

  • 基于Python2.7及以上版本。

  • 支持Windows、Linux、macOS平台。

开发与授权工具

用于开发集成和精细化权限管理。

工具

简介

签名工具

OSS控制台提供以下签名工具。

  • Header签名

    通过Header签名工具填入指定参数后,会自动生成请求签名,并校验请求签名的正确性。更多信息,请参见Header签名

  • PostObject Policy签名

    通过PostObject Policy签名工具填入指定参数后,会自动生成用于通过HTML进行表单上传的请求签名,并校验请求签名的正确性。更多信息,请参见PostObject Policy签名

  • URL签名

    通过URL签名工具可以生成供访客进行临时访问的Object签名URL。生成Object签名URL时,可以通过自定义URL的过期时间来限制访客的访问时长。更多信息,请参见URL签名

重要

当前签名工具仅支持生成V1版本的签名。

RAM策略编辑器

OSS授权策略自动化生成工具。 当需要生成自定义授权策略时,推荐使用该工具。

  • 可根据需求自动生成授权策略,还可以在RAM的自定义权限策略中使用该授权策略。

  • 支持浏览器Chrome、Firefox、Safari。

第三方工具和插件

由社区开发者贡献,可与常用的开发工具和应用框架无缝集成,进一步简化 OSS 的使用。

工具

简介

Big Data Tools

OSS兼容的JetBrains IDE插件,专注于优化大数据工作流。

  • 便于使用远程文件系统(包括OSS)的用户界面。

  • 与文件管理器类似的文件操作方式(复制、移动、重命名、删除和下载文件)。

  • 便于预览文件,而且对于CSV文件,还可以在文本和表格视图之间切换。

  • 便于获取文件的其他信息,例如修改时间。

  • 便于预览二进制文件,例如Parquet。

  • 便于在多个选项卡中打开Bucket和文件夹。

更多信息,请参见使用Big Data Tools连接JetBrains IDEOSS

Hacklog Remote Attachment

WordPress插件,允许将WordPress网站上的附件和媒体文件存储到OSS上,而不是保留在本地服务器上,从而提升网站的加载速度,并减轻主机的存储压力。更多信息,请参见WordPress如何存储远程附件到OSS

FIleZilla

简单易用的FTP客户端工具,允许将本地站点的文件上传到OSS,从而提高文件存储和访问的效率,并降低本地存储负担。更多信息,请参见FileZilla如何上传本地站点文件到OSS