多模态数据集管理

更新时间:
复制 MD 格式

MaxCompute 支持在表中通过 Blob 类型存储图片、视频、音频、PDF、Office 文档等非结构化数据。客户端提供文件浏览器、多格式预览、上传导入、批量下载以及 WebDAV 本机挂载等能力,方便管理和使用多模态数据集。

Blob 多模态存储

blob-storage-guide-zh

前提条件

  • 已创建并成功连接一个 MaxCompute 数据源。

开启 Blob 多模态存储

  1. 打开设置 > 找到 Blob 存储区域。

  2. 开启文件浏览器开关。

  3. 开启后:

    • 侧边栏多模态分组中出现Blob多模态存储入口,单击即可打开文件浏览器。

    • WebDAV 只读服务同时启动。

开关下方可配置:

设置项

说明

默认值

Blob 文件缓存时间

本地磁盘缓存的有效时间(小时),设为 0 禁用缓存

12 小时

Blob 缓存大小

缓存占用的磁盘空间上限

最大 2 GB

清空缓存

手动清除所有已缓存的 Blob 文件和缩略图

创建多模态表

多模态表是包含 Blob 列的 MaxCompute 表,用于存储非结构化文件。表结构由以下部分组成:

  • Blob 列:存储文件的二进制内容,每张多模态表必须包含至少一个 Blob 列。

  • 伴生元数据列:文件名(STRING)、文件类型(STRING)、文件大小(BIGINT)等,便于查询和筛选。

  • 主键表:可将文件名或唯一标识设为主键,重复导入同名文件时自动覆盖旧记录,实现去重。

  • 非主键表:每次导入都追加新行,适合不需要去重的场景。

多模态存储表以 fs_ 前缀命名。

上传文件

在文件浏览器中,可通过以下方式上传文件到多模态表:

  • 单击上传:单击工具栏的上传按钮,选择本地文件。

  • 拖拽上传:将文件直接拖入文件浏览器区域。

文件浏览器

入口:侧边栏 > Blob多模态存储

文件浏览器展示当前项目中 fs_* 文件存储表的目录结构,支持:

  • 网格视图 / 列表视图:切换文件展示方式。

  • 面包屑导航:单击路径中的任意层级快速跳转。

  • 查看与预览:单击文件打开预览标签页,查看文件内容。

  • 下载:单击文件的下载按钮保存到本地,也支持选中多个文件批量下载。

WebDAV 挂载

客户端在本地启动一个只读 WebDAV 服务,允许通过系统文件管理器直接浏览 MaxCompute 中的文件。

macOS 连接方式

  1. 在 Finder 中按 ⌘K(前往 > 连接服务器)。

  2. 输入地址:http://127.0.0.1:8899/dav/(可在设置页复制)。

  3. 单击连接,即可像本地文件夹一样浏览和下载文件。

使用限制

  • 仅支持只读操作(浏览和下载),不支持写入。

  • 仅限本机访问(127.0.0.1),不对外暴露。

  • 关闭应用后 WebDAV 服务停止,连接自动断开。

通用导入

本地文件上传到 Blob

入口:工具栏 > 导入 > 切换到 Blob 导入标签页。

通过 Blob 导入视图将本地文件批量导入 MaxCompute 表的 Blob 列。

  1. 拖拽或选择本地文件(支持图片、PDF、压缩包、音视频等任意二进制文件)。

  2. 选择导入模式:

    • 新建表:配置表名和字段,自动生成建表 DDL(含 Blob 列和伴生元数据列)。

    • 已有表:选择目标表,将文件内容映射到已有的 Blob 列。

  3. 确认字段映射后单击开始导入

新建表时的典型 DDL 结构:

CREATE TABLE my_images (
    file_name STRING COMMENT '文件名',
    file_type STRING COMMENT 'MIME 类型',
    file_size BIGINT COMMENT '文件大小(字节)',
    content   BLOB   COMMENT '文件内容'
);

SQL 管理多模态数据集

SQL 查询 Blob 数据

通过 SQL 查询包含 Blob 列的表,可检索和筛选多模态数据。Blob 数据类型的详细 SQL 用法请参见 Blob数据类型与多模态存储

查询结果预览与下载

入口:SQL 查询返回包含 Blob 列的结果时,结果面板自动提供以下能力:

  • 缩略图展示:Blob 单元格自动显示文件类型图标或图片缩略图。

  • 单元格下载:单击单元格的下载按钮保存单个文件。

  • 列批量下载:选中 Blob 列中的多个文件,批量下载到本地目录。

Blob / Binary 预览标签页

入口:在查询结果表中单击 Blob 单元格的预览按钮,或在文件浏览器中单击文件,均会打开独立的预览标签页。支持的预览格式:

格式类别

支持的类型

图片

JPEG、PNG、GIF、WebP、BMP、TIFF

视频

MP4、WebM、MPEG

音频

WAV、MP3、OGG、FLAC

文档

PDF、Word(docx)、Excel(xlsx)、PPT(pptx)

文本

JSON、XML、CSV、TSV、Markdown、纯文本

二进制

HEX 十六进制查看

预览标签页支持切换预览模式(自动检测、图片、视频、音频、文档、文本、HEX),适用于文件类型未知或需要以不同方式查看的场景。

相关文档