文档

OSS常用管理工具汇总

更新时间:

阿里云对象存储OSS提供了丰富的管理工具,方便您高效使用OSS,例如上传大文件到OSS、生成签名、迁移数据、挂载Bucket等。除了阿里云官方提供的工具外,还有由社区开发的第三方工具和插件,这些可以进一步增强和简化OSS的使用。

官方工具

工具

简介

ossutil 2.0(预览版)

OSS的新版命令行管理工具。

  • 支持多级命令,例如高级命令和API级命令,方便您管理Object和Bucket。

  • 支持外部访问凭证、OIDC凭证,实例角色访问凭证模式支持自动获取角色名。

  • 支持使用--output-format修改输出格式,默认为原始格式输出,即XML或者文本,可设置为JSON、YAML、XML格式。

ossutil 1.0

OSS的命令行管理工具。

  • 提供方便、简洁、丰富的Object和Bucket管理命令,操作性能好。

  • 支持文件并发上传、断点续传。

  • 支持文件目录(文件夹)的上传下载。

阿里云CLI

阿里云资源的统一命令行管理工具。您可以通过使用阿里云CLI统一的命令格式,快速管理您在OSS中的数据。具体操作,请参见使用阿里云CLI管理OSS中的数据

ossbrowser

图形化的管理工具。

  • 提供类似Windows资源管理器的功能。

  • 支持直接浏览文件。

  • 支持文件目录(文件夹)的上传下载。

  • 支持文件并发上传、断点续传。

  • 支持RAM 用户的图形化Policy授权操作。

  • 支持Windows、Linux、Mac平台。

使用限制:

  • ossbrowser是图形化工具,传输速度和性能不如命令行工具ossutil。

  • 只支持5 GB以下的文件移动或复制。

  • 单文件上传最大不能超过48.8 TB。

签名工具

OSS控制台提供以下签名工具。

  • Header签名

    通过Header签名工具填入指定参数后,会自动生成请求签名,并校验请求签名的正确性。更多信息,请参见Header签名

  • PostObject Policy签名

    通过PostObject Policy签名工具填入指定参数后,会自动生成用于通过HTML进行表单上传的请求签名,并校验请求签名的正确性。更多信息,请参见PostObject Policy签名

  • URL签名

    通过URL签名工具可以生成供访客进行临时访问的Object签名URL。生成Object签名URL时,您可以通过自定义URL的过期时间来限制访客的访问时长。更多信息,请参见URL签名

ossimport

OSS数据同步工具。

  • 可将各类第三方数据源文件同步到OSS上。

  • 支持分布式部署,可使用多台服务器批量迁移数据。

  • 支持TB级以上数据迁移。

  • 支持Windows、Linux平台。

  • 适用于Java 7。

说明

您也可以使用阿里云在线迁移服务,无需部署迁移工具。更多信息,请参见在线迁移服务教程文档

ossfs

Bucket挂载工具。ossfs用于将OSS的Bucket挂载到Linux系统的本地文件系统中,挂载后可通过本地文件系统操作OSS上的Object,实现数据的访问和共享。

  • 支持POSIX文件系统的大部分功能,包括文件读写、目录、链接操作、权限、UID、GID、以及扩展属性(Extended Attributes)。

  • 支持使用OSS的Multipart功能上传大文件。

  • 支持MD5校验,保证数据完整性。

使用限制:

使用ossfs将远程Bucket数据及功能映射到本地文件系统时存在如下限制:

  • 不适合高并发读写的场景。

    说明
    • 在ossfs的实现中读写均需要落盘。在高并发读写的场景下,磁盘性能对于读和写均是瓶颈。

    • 在ossfs的实现中并发的读写请求之间存在竞争,影响带宽。

  • 不支持文件硬链接。

  • 不支持挂载归档存储、冷归档存储或者深度冷归档存储类型Bucket。

  • 编辑已上传文件会导致文件被重新上传。

  • 元数据操作,例如list directory,因为需要远程访问OSS服务器,所以性能较差。

  • 重命名文件或文件夹可能会出错。若操作失败,可能会导致数据不一致。

  • 多个客户端挂载同一个OSS Bucket时,数据一致性由您自行维护。建议您合理规划文件使用时间,避免出现多个客户端写同一个文件的情况。

说明

建议您优先使用云存储网关进行Bucket挂载。具体操作,请参见通过云存储网关挂载OSS

ossftp

管理Object的FTP工具。

  • 使用FileZilla、WinSCP、FlashFXP等FTP客户端操作OSS。

  • 本质是FTP Server,用于接收FTP请求,会将文件、文件夹的操作映射为对OSS的操作。

  • 基于Python2.7及以上版本。

  • 支持Windows、Linux、macOS平台。

RAM策略编辑器

OSS授权策略自动化生成工具。 当您需要生成自定义授权策略时,推荐使用该工具。

  • 可根据需求自动生成授权策略,还可以在RAM的自定义权限策略中使用该授权策略。

  • 支持浏览器Chrome、Firefox、Safari。

osscmd(已下线)

Object和Bucket的命令行管理工具。

  • 提供完备的Bucket、Object管理命令。

  • 支持Windows、Linux平台。

使用限制:

  • 仅适用于Python2.5~2.7版本,不支持Python 3.x版本。

  • 不支持低频访问、归档存储、冷归档存储、深度冷归档存储、跨区域复制、镜像回源等功能。

重要

osscmd操作命令已整合到ossutil中。osscmd已于2019年07月31日下线,给您带来不便敬请谅解。

OSS Connector for AI/ML

在PyTorch训练任务中高效访问和存储OSS数据的Python库。

  • 支持构建适合随机访问,方便在训练过程中快速获取特定数据的映射式数据集。

  • 支持构建适合流式顺序访问,也能处理连续的数据流的可迭代式数据集。

  • 支持创建用于将训练过程中的检查点直接加载至OSS的OssCheckpoint对象。

使用限制:

  • 操作系统:Linux x86-64

  • glibc:>=2.17

  • Python:3.8-3.12

  • PyTorch: >=2.0

  • 使用OSS Checkpoint功能需Linux内核支持userfaultfd

第三方工具和插件

工具

简介

Big Data Tools

一款与OSS兼容的JetBrains IDE插件,专注于优化大数据工作流。

  • 便于使用远程文件系统(包括OSS)的用户界面。

  • 与文件管理器类似的文件操作方式(复制、移动、重命名、删除和下载文件)。

  • 便于预览文件,而且对于CSV文件,还可以在文本和表格视图之间切换。

  • 便于获取文件的其他信息,例如修改时间。

  • 便于预览二进制文件,例如Parquet。

  • 便于在多个选项卡中打开Bucket和文件夹。

更多信息,请参见使用Big Data Tools连接JetBrains IDE与OSS

Hacklog Remote Attachment

一款WordPress插件,允许您将WordPress网站上的附件和媒体文件存储到OSS上,而不是保留在本地服务器上,从而提升网站的加载速度,并减轻主机的存储压力。更多信息,请参见WordPress如何存储远程附件到OSS

FIleZilla

一款简单易用的FTP客户端工具,允许您将本地站点的文件上传到OSS,从而提高文件存储和访问的效率,并降低本地存储负担。更多信息,请参见FileZilla如何上传本地站点文件到OSS