OSS Tables 数据源

更新时间:
复制 MD 格式

OSS Tables是阿里云对象存储OSS提供的结构化数据湖存储服务,基于Apache Iceberg开放表格式,为AI训练数据管理和OLAP分析场景提供即开即用的低成本、高性能结构化数据存储能力。OSS Tables内置自动化数据维护机制(压缩、快照管理、未引用文件清理),实现零运维的Serverless数据湖体验。DataWorks数据集成支持写入OSS Tables 数据源,本文将为您介绍OSS Tables的使用详情。

使用限制

限制项

说明

资源组

仅支持 Serverless 资源组。

读写方向

仅支持作为目标端写入。

同步方式

仅支持 Hive 作为来源,以整库离线方式写入。

创建数据源

开始前,确保已满足以下条件:

  • 已开通阿里云OSS Tables 服务,并创建了 OSS Tables Bucket 和 Namespace。

  • 已创建 DataWorks 工作空间,并获取工作空间管理中心的访问权限。

  • 已准备好用于鉴权的 AccessKey 或 RAM 角色。

操作步骤如下:

  1. 登录 DataWorks 控制台,切换至目标地域。

  2. 单击左侧导航栏的更多 > 管理中心,从下拉框选择对应工作空间后单击进入管理中心

  3. 管理中心页面,单击左侧导航栏的数据源

  4. 数据源页面,单击新增数据源

  5. 新增数据源对话框,搜索并选择 OSS Tables

  6. OSS Tables 数据源配置页面,根据下表配置数据源信息。

    参数

    说明

    数据源名称

    自定义数据源名称。名称在工作空间内唯一,必须以字母、数字、下划线组合,且不能以数字和下划线开头。

    配置模式

    仅支持连接串模式

    Endpoint

    下拉选择 OSS Tables 引擎实例的 Endpoint 地址。

    访问身份

    选择鉴权方式:AK 鉴权(使用 AccessKey ID 和 AccessKey Secret 进行身份验证)或阿里云 RAM 角色(通过 RAM 角色进行身份验证)。

    Bucket 名称

    输入 OSS Tables Bucket 名称。

    命名空间

    输入 OSS Tables Namespace。

  7. 配置完成后,单击连接配置模块的测试连通性,验证数据源与 Serverless 资源组的网络连通性。

    • 连通性测试通过后,单击完成编辑,完成数据源的创建。

    • 若连通性测试失败,参见网络连通配置排查网络问题。

数据同步任务开发

整库离线