OSS Tables是阿里云对象存储OSS提供的结构化数据湖存储服务,基于Apache Iceberg开放表格式,为AI训练数据管理和OLAP分析场景提供即开即用的低成本、高性能结构化数据存储能力。OSS Tables内置自动化数据维护机制(压缩、快照管理、未引用文件清理),实现零运维的Serverless数据湖体验。DataWorks数据集成支持写入OSS Tables 数据源,本文将为您介绍OSS Tables的使用详情。
使用限制
限制项 | 说明 |
资源组 | 仅支持 Serverless 资源组。 |
读写方向 | 仅支持作为目标端写入。 |
同步方式 | 仅支持 Hive 作为来源,以整库离线方式写入。 |
创建数据源
开始前,确保已满足以下条件:
已开通阿里云OSS Tables 服务,并创建了 OSS Tables Bucket 和 Namespace。
已创建 DataWorks 工作空间,并获取工作空间管理中心的访问权限。
已准备好用于鉴权的 AccessKey 或 RAM 角色。
操作步骤如下:
登录 DataWorks 控制台,切换至目标地域。
单击左侧导航栏的,从下拉框选择对应工作空间后单击进入管理中心。
管理中心页面,单击左侧导航栏的数据源。
数据源页面,单击新增数据源。
新增数据源对话框,搜索并选择 OSS Tables。
OSS Tables 数据源配置页面,根据下表配置数据源信息。
参数
说明
数据源名称
自定义数据源名称。名称在工作空间内唯一,必须以字母、数字、下划线组合,且不能以数字和下划线开头。
配置模式
仅支持连接串模式。
Endpoint
下拉选择 OSS Tables 引擎实例的 Endpoint 地址。
访问身份
选择鉴权方式:AK 鉴权(使用 AccessKey ID 和 AccessKey Secret 进行身份验证)或阿里云 RAM 角色(通过 RAM 角色进行身份验证)。
Bucket 名称
输入 OSS Tables Bucket 名称。
命名空间
输入 OSS Tables Namespace。
配置完成后,单击连接配置模块的测试连通性,验证数据源与 Serverless 资源组的网络连通性。
连通性测试通过后,单击完成编辑,完成数据源的创建。
若连通性测试失败,参见网络连通配置排查网络问题。
数据同步任务开发
整库离线
支持数据来源:Hive。
配置指导:整库离线同步任务配置。