阿里云实时计算集成了RDS、DataHub、OTS等数据存储系统的管理界面,为您提供一站式云上数据存储管理服务。

数据存储的含义

数据存储有2层含义:
  • 实时计算产品上下游生态对应的数据存储系统/数据库表(以下简称为存储资源,详情请参见产品生态)。
  • 实时计算产品对上下游存储资源的管理功能(以下简称为数据存储功能)。
说明 使用注册存储功能前,请先完成实时计算对存储设备的访问授权,授权方法请您参见共享模式角色授权独享模式角色授权
实时计算产品支持2种引用上下游存储资源的方式:明文方式和存储注册方式。详细介绍如下。

明文方式

明文方式是通过在作业的DDL语句WITH参数中配置accessIdaccessKey的方法,引用上下游存储资源,详情请参见DDL概述。明文方式不仅支持同账号(包括主子账号)授权,同时还支持跨账号授权。例如,当前实时计算A用户(包括A下所属的子账户)需要使用用户B的存储资源,可以通过如下明文方式定义DDL。

CREATE TABLE in_stream(
  a varchar,
  b varchar,
  c timestamp
)with(
type='datahub',
  endPoint='http://dh-cn-hangzhou.aliyuncs.com',
  project='<dataHubProjectName>',
  topic='<dataHubTopicName>',
  accessId='<accessIdOfUserB>',
  accessKey='<accessKeyOfUserB>'
);

存储注册方式

存储注册方式是将上下游存储资源预先注册至实时计算开发平台,然后通过实时计算控制台的数据存储管理功能,对上下游存储资源进行引用。使用存储注册方式后,实时计算控制台能够为您提供数据预览、数据抽样、DDL自动生成等功能,便于您一站式管理云上存储资源。

说明 实时计算数据存储功能当前仅支持同账号属主下的存储资源,即当前使用实时计算的A用户(包括A用户的子账户)所注册的存储资源,必须是A购买的存储资源。不支持跨账号授权,如果您需要跨账号授权使用存储资源,请使用明文方式。
  • 注册数据存储
    使用存储注册方式需要将上下游存储资源预先注册至实时计算开发平台。注册步骤如下:
    1. 登录实时计算控制台
    2. 单击页面顶部的开发
    3. 开发界面,单击左侧导航栏中的数据存储
    4. 数据存储页签的右上角,单击+注册与网络
    5. 注册数据存储与网络探测窗口,完成对应储存设备的参数配置。

      目前实时计算产品仅支持注册如下五种存储资源,具体方法请点击以下产品链接:

    • 数据预览
      对于已经注册的存储资源,实时计算提供数据预览功能,功能实现步骤如下:
      1. 开发,单击左侧导航栏底部的数据存储
      2. 数据存储区域,双击数据存储类型文件夹以及文件夹下的各节点,直至目标数据表。
      3. 数据表详情 > 数据预览,查看存储资源的数据。


    • 自动生成DDL
      对于已经注册的存储资源,实时计算提供自动生成DDL的功能,功能实现步骤如下:
      1. 开发,单击左侧导航栏底部的数据存储
      2. 数据存储区域,双击数据存储类型文件夹以及文件夹下的各节点,直至目标数据表。
      3. 数据表详情,单击作为输入表引用作为结果表引用作为维表引用,即可自动生成DDL。
      说明 自动生成的DDL仅包含基本的WITH参数,以保证实时计算与存储资源的连通性。您可在此基础上增加其他WITH参数。


    • 网络探测
      实时计算的数据存储功能提供网络探测功能,用于探测实时计算产品与被探测的存储资源的网络连通性。网络探测功能开启方式如下:
      1. 开发,单击左侧导航栏底部的数据存储
      2. 数据存储页签的右上角,单击+注册与网络
      3. 注册数据存储与网络探测页面,打开网络探测模式开关。