Hologres可通过DDL方式创建Hologres外部表,也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres外部表。
前提条件
工作空间已创建Hologres数据源,并将其绑定至数据开发。详情请参见创建Hologres数据源、开发前准备:绑定数据源或集群。
创建表的用户具备开发权限角色,空间管理员或开发。授权详情请参见空间级模块权限管控。
背景信息
Hologres的表类型分为内部表和外部表,其区别如下:内部表:可直接存储MaxCompute源数据。您可将MaxCompute源表数据同步至Hologres内部表中快速查询分析。该方式比创建外部表方式查询性能更好。
外部表:不能直接存储MaxCompute源数据,但可将MaxCompute源表数据映射至Hologres外部表中,加速查询分析数据。该方式无冗余存储,无需导入导出数据,即可快速获取查询结果。
使用限制
目前仅支持创建MaxCompute类型的Hologres外部表。
- 当前仅华东2(上海)、华北2(北京)地域支持使用该功能。
操作步骤
进入数据开发页面。
登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
创建业务流程。
如果您已有业务流程,则可以忽略该步骤。
鼠标悬停至图标,选择新建业务流程。
在新建业务流程对话框,输入业务名称。
单击新建。
- 创建Hologres外部表。
- 鼠标悬停至图标,选择 。
- 在新建表对话框,选择表类型为外部表,并配置表所在的引擎、路径及名称等信息。
- 配置Hologres外部表。在Hologres外部表的编辑页面,您可配置表的相关信息。
- 配置基础属性。表的主要基础属性如下。
参数 描述 类型 选择需要创建哪种类型的Hologres外部表。 说明目前仅支持创建MaxCompute类型的Hologres外部表。
服务器列表 选择外部表连接MaxCompute数据源的服务器。 说明 创建MaxCompute类型的外部表需调用Hologres底层已创建的odps_server
外部表服务器。详细原理请参见postgres_fdw。表 选择需要基于哪个MaxCompute源表创建Hologres外部表,后续使用该外部表查询MaxCompute源表数据。 您需根据MaxCompute的项目模型类型配置相关参数:- 两层模型:
- project_name:MaxCompute的项目名称。
- table_name:所查询的MaxCompute源表名称。
- 三层模型:
- project_name:MaxCompute的项目名称及Schema名称,格式为
odps_project_name#odps_schema_name
。 - table_name:所查询的MaxCompute源表名称。
- project_name:MaxCompute的项目名称及Schema名称,格式为
说明 如果相关参数的配置与模型类型要求不符,则会产生报错。报错示例failed to import foreign schema:Table not found - table_xxx
。 - 两层模型:
配置业务信息。
说明表的业务信息,仅是基于业务需求方便管理表使用,不涉及底层逻辑的实现。
参数
描述
主题
表所属的一级文件夹与二级文件夹。您可基于业务用途对表进行归类,将同类表挂载至相同文件夹中。
说明一级主题、二级主题仅为DataWorks上文件夹的呈现形式,旨在方便您更好地管理表。
层级
表所属的物理数仓分层。层级是用来定义和管理数据仓库分层,通常分为贴源层、共享层和分析层。您可根据表的业务用途,将其挂载至合适的层级。
说明单击图标可自定义层级。详细操作请参见表管理。
物理分类
表的物理分类,即基于业务使用视角对表进行更详细的分类。通常包括基础业务层、高级业务层和其它。
说明单击图标可自定义物理分类。详细操作请参见分类管理。
- 配置表结构。当步骤4中《配置基础属性》的表参数配置后,将在此界面展示该表的表结构。该结构将用于创建最终的Hologres外部表,会自动读取MaxCompute源表数据,不可编辑。说明 基于MaxCompute创建Hologres外部表时存在字段类型映射,外部表字段类型必须与MaxCompute源表字段类型一一对应。MaxCompute与Hologres的数据类型映射,请参见MaxCompute与Hologres的数据类型映射。
- 配置基础属性。
- 提交并发布Hologres外部表。
表结构定义完成后,您需将其提交至开发环境与生产环境,提交成功后才可在环境对应的引擎项目查看该表。
说明如果您使用的是简单模式的工作空间,仅需将表提交至生产环境。简单模式与标准模式工作空间介绍,详情请参见必读:简单模式和标准模式的区别。
操作
描述
从开发环境加载
用于从开发环境加载开发表的相关信息,并显示至当前页面。
说明仅当表已被提交至开发环境后,才可执行该操作。执行该操作后,开发环境已创建的表信息会覆盖当前页面的表信息。
提交到开发环境
提交表至DataWorks的开发环境,即在开发环境对应的Hologres数据库创建当前表。
提交后您可在DataWorks数据开发相应业务流程(即创建表时所选的路径)的Hologres目录,查看该表结构。
从生产环境加载
用于从生产环境加载生产表的相关信息,并显示至当前页面。
说明仅当表已被提交至生产环境后,才可执行该操作。执行该操作后,生产环境已创建的表信息会覆盖当前页面的表信息。
提交到生产环境
提交表至DataWorks的生产环境,即在生产环境对应的Hologres数据库创建当前表。
后续步骤
Hologres外部表创建完成后,您可通过Hologre外部表周期性导入MaxCompute数据至Hologres内部表:- 使用命令方式导入,详情请参见使用SQL导入MaxCompute的数据至Hologres。
- 使用DataWorks可视化方式导入,详情请参见一键MaxCompute数据同步节点。