使用DataWorks数据服务生成API时,支持对部分数据源表的查询提供查询加速能力,便于后续数据服务API在调用和执行的时候,提高查询原始数据表数据的性能和效率。本文为您介绍DataWorks数据服务的加速能力与配置流程。

背景信息

DataWorks数据服务的加速方案有两种:加速服务MCQA,您可以点击这里加入DataWorks用户钉群进行咨询。

两种方案的对比介绍如下。
加速方案加速能力介绍支持的地域与资源组配置指导
加速服务由DataWorks数据服务提供的加速能力,本质为通过Hologres外表实现的加速方案:Hologres能够对目标MaxCompute表建立表结构的映射关系,无需从MaxCompute导出数据,即可实现加速查询MaxCompute数据。
说明 在加速服务的外部表方案中,所需的Hologres引擎由数据服务提供,因此,您无需单独购买Hologres引擎,只需专注于选择目标MaxCompute表。
  • 华东2(上海)、华北2(北京)、华东1(杭州)、华南1(深圳)地域。
  • 公共数据服务资源组将于2023年3月1日开始对加速服务正式商业化计费,详情请参见 公共数据服务资源组计费说明:按量付费 ,独享数据服务资源组可直接使用。
  • 当前仅支持对MaxCompute数据源进行加速。
使用加速服务时,您需要进行以下配置:
  1. 新增加速项
  2. 配置API
操作详情请参见方案1:使用加速服务
MCQA由MaxCompute本身支持的查询加速MCQA(MaxCompute Query Acceleration)功能实现的加速方案,可以对中、小数据量查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级。更多MaxCompute的MCQA功能请参见MCQA概述
  • 华北2(北京)、华东1(杭州)、华东2(上海)、华南1(深圳)地域,完成能力升级。
  • 仅支持在独享数据服务资源组下使用。
  • 支持对按量计费和包年包月类型的MaxCompute项目进行加速。
使用MCQA加速时,您仅需配置API时选择MCQA的加速方案。配置引导请参见方案2:使用MCQA

方案1:使用加速服务

注意事项

  • 加速项与数据表之间是一一映射的关系,即:一个加速项中只包含一张数据表,一张数据表最多也只会产生一个加速项。
  • 如果在新增加速项时,选择了已配置过加速项的数据表名称,则该加速项将会初始化失败。

步骤1:新增加速项

  1. 进入数据服务页面。
    1. 登录DataWorks管理控制台
    2. 在左侧导航栏,单击工作空间列表,选择工作空间所在地域后,单击相应工作空间后的更多 > 数据服务
  2. 单击左侧的数据加速图标,进入加速服务界面。
  3. 加速服务页面,单击数据加速界面右上方新增加速项按钮,打开新增加速项界面。
  4. 配置加速项的信息。
    新增
    参数描述
    加速方案当前仅支持Hologres外部表
    说明 Hologres是阿里巴巴自研的实时数仓引擎,与MaxCompute(ODPS)在底层资源无缝打通。通过Hologres外表的加速方案,Hologres能够对目标MaxCompute表建立表结构的映射关系,无需从MaxCompute导出数据,即可实现加速查询MaxCompute数据。在加速服务的外部表方案中,所需的Hologres引擎由数据服务提供,因此,您无需单独购买Hologres引擎,只需专注于选择目标MaxCompute表。
    数据源类型当前仅支持加速MaxCompute(ODPS)数据源。
    数据表名称选择要加速的MaxCompute数据源名称和数据表名称。
    说明 如果您有多张待加速的表,可单击下方的添加数据表,继续添加其他待加速的表,一键生成多个加速项。每次可添加不超过10张MaxCompute表。
  5. 单击确认,待新增加速项对话框中的已选数据表显示初始化成功,即完成创建加速项,单击确定可关闭对话框。

步骤2:配置API

双击打开API的编辑页面,在选择表区域,以MaxCompute为例,选择数据源类型、数据源名称、数据表名称等配置项。选择表
  • 数据源类型:选择MaxCompute(ODPS)。
  • 数据源名称:选择已配置过加速项的数据源名称。
  • 加速方式:选择加速服务
    说明
    • 选择加速方式为加速服务后,此API后续即可使用数据服务提供的加速服务进行查询加速,在加速项列表页面中,也可查询到对应加速项已关联此API。
    • 选择加速方式为加速服务后,如果是脚本模式,仅支持单表查询,并且需要在SQL编辑器中使用Hologres语法。
  • 数据表名称:选择加速服务这种方式后,对于已配置过数据服务加速项的表,在下拉列表中会有已加速的提示。您可选择已配置加速项的表。
更多API配置的其他参数请参见通过向导模式生成API通过脚本模式生成API

步骤3:查看加速项

在数据服务的加速服务界面,为您展示了已创建的所有加速项列表。数据加速
核心参数描述
操作包括废弃加速项查看API
  • 废弃加速项:单击可废弃当前加速项,废弃加速项前,建议先下线相关的已发布API。废弃加速项后,相关的未发布API将会在调用测试时失败。
    说明 废弃加速项前,建议您先查看加速任务关联的API有哪些,并下线对应关联的API后,再进行废弃加速项的操作。
  • 查看API:单击可查看已关联的API列表。

方案2:使用MCQA

使用MCQA加速时,您仅需要进行配置API的步骤即可。

配置API

双击打开API的编辑页面,在选择表区域,以MaxCompute为例,选择数据源类型、数据源名称、数据表名称等配置项。MCQA
  • 数据源类型:选择MaxCompute(ODPS)。
  • 数据源名称:选择已配置过加速项的数据源名称。
  • 加速方式:选择MCQA
    说明 选择加速方式为MCQA后,此API后续即可使用MaxCompute提供的加速服务进行查询加速。
  • 数据表名称:选择MCQA这种方式后,请直接在此处选择目标MaxCompute表名称即可。
更多API配置的其他参数请参见通过向导模式生成API通过脚本模式生成API