添加Spark SQL数据源用于连通Spark SQL数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网或阿里云VPC的方式连接Spark SQL数据库(3.0及以上版本),本文为您介绍如何添加Spark SQL自建数据源。

前提条件

  • 确保您的网络已连通:
    • 您通过公网连接Quick BI与Spark SQL数据库(3.0及以上版本),请添加Quick BI的IP地址至数据库白名单,请参见添加安全组规则

      Quick BI的IP地址:47.101.108.0/24,101.132.48.0/24,47.101.107.0/24,139.224.92.0/24,139.224.4.0/24,106.15.146.0/24,106.15.145.0/24,106.15.143.0/24,106.15.14.0/24,106.15.13.0/24,11.193.48.0/24,11.197.244.0/24,10.152.69.0/24,10.152.163.0/24,100.104.0.0/16

    • 您通过内网连接Quick BI与Spark SQL数据库(3.0及以上版本),请通过以下任意一种方式,实现数据源与Quick BI网络连通:
      • 当Spark SQL数据库搭建在阿里云的ECS上,您可以通过阿里云VPC连接。
      • 您也可以搭建跳板机,并通过SSH隧道访问登录并访问数据库。
  • 已获取自建Spark SQL数据库(3.0及以上版本)的用户名和密码。

使用限制

  • 仅Quick BI高级版和专业版的群空间支持添加Spark SQL的数据源。
    说明 添加的Spark SQL数据库为3.0及以上版本,且底层存储Hive MetaStore为Hive 2.0及以上版本。

操作步骤

  1. 登录Quick BI控制台
  2. 请按照下述步骤添加数据源。
    添加数据源
  3. 添加Spark SQL数据源对话框,您可以根据业务场景,完成以下配置。
    • 如果通过公网连接Quick BI与Spark SQL数据库,请配置以下参数:
      名称 描述
      显示名称 数据源配置列表的显示名称。

      名称由汉字、数字、字母、下划线(_)或短划线(-)组合组成。

      数据库地址 部署Spark SQL数据库主机的公网地址,此时的公网地址为主机IP地址。
      端口 部署Spark SQL数据库公网地址对应的端口号。
      数据库 部署Spark SQL数据库时自定义的数据库名称。
      用户名密码 登录Spark SQL数据库的用户名和密码。
    • 如果通过内网连接Quick BI与Spark SQL数据库,请配置以下参数:
      名称 描述
      显示名称 数据源配置列表的显示名称。

      名称由汉字、数字、字母、下划线(_)或短划线(-)组合组成。

      数据库地址 部署Spark SQL数据库的内网地址,此时的内网地址为购买数据库的ECS实例对应的内网地址。
      端口 部署Spark SQL数据库内网地址对应的内网端口。
      数据库 部署Spark SQL数据库时自定义的数据库名称。
      用户名密码 登录Spark SQL数据库的用户名和密码。
      vpc数据源 仅当Spark SQL数据库部署在阿里云ECS上,且网络类型为阿里云VPC网络时,请选中vpc数据源并配置如下参数:
      • 购买者accessId:购买此实例的AccessKey ID。

        请参见获取AccessKey

      • 购买者accessKey:购买此实例的AccessKey Secret。

        请参见获取AccessKey

      • 实例id:ECS实例ID。
      • 区域:ECS实例所在区域。
      ssh 如果您选中ssh,则需要配置如下参数:
      您可以搭建跳板机,并通过SSH隧道访问登录并访问数据库。跳板机的信息请找运维或系统管理员获取。
      • SSH Host:输入跳板机IP地址。
      • SSH 用户名:登录跳板机的用户名。
      • SSH 密码:登录跳板机的用户名对应密码。
      • SSH 端口:跳板机的端口。默认为22。
      请参见通过密码认证登录Linux实例
      说明 仅专业版群空间下支持通过SSH隧道的方式访问自建数据源。
  4. 单击连接测试,进行数据源连通性测试。
    自建数据源_4.2.1
  5. 测试成功后单击确定,完成数据源添加。
    此时您可以在数据列表中,看到您创建的数据源。

后续步骤

创建数据源后,您还可以创建数据集并分析数据。