文档

迁移Lightning至共享集群(数据服务场景)

更新时间:

共享集群(MaxCompute BI加速版)是针对MaxCompute交互式分析场景设计的在线查询加速服务,基于Hologres存储计算分离的云原生架构,以共享集群资源的形式,加快存储在MaxCompute中的数据访问。本文内容将指导您在使用Lightning集群的前提下,如何使用Hologres共享集群(MaxCompute BI加速版)对接DataWorks数据服务。

背景信息

由于Lightning后期会逐步下线,下线后不再继续维护。您可以将共享集群(MaxCompute BI加速版)认为是Lightning的升级版,性能和服务更优于Lightning。逐步使用共享集群(MaxCompute BI加速版)替换Lightning。

操作流程说明

针对使用数据服务场景的操作流程,Lightning和共享集群(MaxCompute BI加速版)的操作流程对比如下图所示。流程对比

因此,在数据服务场景下,使用Hologres共享集群(MaxCompute BI加速版)对接DataWorks数据服务的操作流程具体如下:

  • 开通共享集群(MaxCompute BI加速版)并确认开通实例的详细信息。

  • 新建数据库并进行授权。

  • 在数据服务新建Hologres数据源,重新创建数据服务任务。

步骤一:开通共享集群(MaxCompute BI加速版)

在迁移Lightning服务之前,需要您先开通共享集群(MaxCompute BI加速版),然后在管理控制台查看自己的共享集群实例是否开通成功。

  1. 单击购买,进入交互式分析Hologres共享集群(MaxCompute BI加速版)购买页面进行如下配置。
    • 商品类型:选择共享集群(MaxCompute BI加速版)
    • 地域:请根据业务实际情况进行选择。
    • 实例名称:支持长度为2~64个字符的名称。
  2. 配置完成后,单击立即购买进行订单确认。
  3. 勾选我已阅读并同意交互式分析Hologres共享集群(MaxCompute BI加速版)服务协议,单击立即开通
    订购开通交互式分析Hologres服务实例,一般需要5-10分钟,请您耐心等待。
  4. 购买成功后,进入Hologres的管理控制台
  5. 实例列表页面,单击目标实例名称。

    您也可以单击目标实例操作列的管理,进入实例详情页,查看实例的详细信息。

步骤二:新建数据库

成功创建实例后,系统默认生成一个名为postgres的数据库,用于监控管理。实际业务需要您按照如下操作指导新建数据库。

  1. 进入实例详情页左侧导航栏的数据库管理页面,单击新增数据库
  2. 新增数据库对话框,选择实例名、输入数据库名称,并根据实际业务选择是否开启简单权限模型。创建数据库时,为了方便权限管理,建议您选择开启简单权限模型

    Hologres为您提供了专家模式授权简单权限模型两套授权体系。

    • 专家模式授权:与PostgreSQL的权限模型完全一致,简称专家模式,详情请参见专家权限模型
    • 简单权限模型:Hologres基于实际业务,为了简化授权操作而抽象的一套简单权限模型(SPM),详情请参见简单权限模型概述
  3. 单击确认完成数据库创建,您可以在DB授权页面,查看已创建的数据库。

步骤三:配置MaxCompute外部表自动加载

您可以通过配置外部表自动加载关联来自MaxCompute的数据,外部表自动加载详情请参见MaxCompute外部表自动加载
说明 您也可以通过CREATE FOREIGN TABLE或者IMPORT FOREIGN SCHEMA手工创建MaxCompute外部表,详情请参见通过创建外部表加速查询MaxCompute数据

步骤四:对接DataWorks的数据服务

共享集群(MaxCompute BI加速版)兼容PostgreSQL生态,支持直接对接各种BI分析工具。若您是使用其他BI工具,需要将原Lightning的域名修改为共享集群的域名之后,再进行可视化分析。

如下内容以DataWorks的数据服务为例,指导您进行BI工具的连接。

  1. 配置Hologres数据源。

    1. 登录DataWorks管理控制台,在页面上方选择目标区域后,在左侧导航栏单击进入工作空间列表页面。

    2. 单击目标工作空间操作列的数据集成

    3. 单击数据集成页面左侧导航栏的数据源,单击新增数据源,选择Hologres

    4. 配置新增Hologres数据源对话框的参数。

      具体参数说明如下表所示:

      参数

      描述

      数据源类型

      目前支持阿里云实例模式

      数据源名称

      数据源名称必须是字母、数字和下划线的组合,并且以字母开头。

      数据源描述

      数据源的信息描述,不得超过80个字符。

      实例ID

      需要同步的Hologres实例ID。

      您可以进入Hologres管理控制台,获取实例ID。

      数据库名

      Hologres的数据库名称。

      AccessKey ID

      您可以单击AccessKey 管理,获取AccessKey ID。

      AccessKey Secret

      您可以单击AccessKey 管理,获取AccessKey Secret。

      认证选项

      资源组连通性

      您需要保证公共资源组和数据源是可以连通的。

  2. 生成并配置API。

    1. 登录DataWorks管理控制台,在页面上方选择目标区域后,在左侧导航栏单击进入工作空间列表页面。

    2. 单击目标工作空间操作列的数据开发

    3. 数据开发页面,单击顶部菜单栏左侧的图标图标,选择全部产品 > 数据服务 > 数据服务

    4. 服务开发页面,单击顶部菜单栏的image图标,选择新建API > 生成API生成API

      您可以选择向导模式脚本模式生成API。

  3. 测试API。

    1. 生成API后,在右侧菜单栏依次进行属性请求参数返回参数的配置并保存。

    2. 在API编辑页面,单击顶部菜单栏右侧的测试

    3. API测试对话框,检查输入的请求参数,单击开始测试测试如果API测试对话框页面底部显示测试成功,则表示API测试通过。您也可以使用数据服务的测试API模块来完成测试,详情请参见测试API

  4. 发布并查看API。

    API测试成功之后,在API编辑页面,单击顶部菜单栏右侧的发布。将API发布至API网关,并上架至API市场,详情请参见发布API。您也可以在数据服务页面,单击顶部菜单栏右侧的服务管理,查看已发布的API名称,查看API详情。

  5. 调用API。

    如果您需要调用已成功发布的API,请参见客户端调用API示例

迁移用户权限

共享集群(MaxCompute BI加速版)的权限控制方式与Lightning不同,需要您重新给共享集群(MaxCompute BI加速版)用户授予相关权限。

为共享集群(MaxCompute BI加速版)用户授权的具体操作请参见授予RAM用户实例的开发权限

  • 本页导读 (1)
文档反馈