Davinci连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入Davinci,您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动,连接Davinci和MaxCompute项目,并进行可视化数据分析。

背景信息

Davinci是面向业务人员、数据工程师、数据分析师及数据科学家,致力于提供一站式数据可视化的解决方案。您既可以在可视化界面上通过简单配置来分析数据,还可以实现高级交互、行业分析、模式探索、社交智能等可视化功能。更多Davinci信息,请参见Davinci

前提条件

在执行操作前,请确认您已满足如下条件:

配置Davinci和挂载驱动注意事项

您在配置Davinci和挂载驱动过程中,需要注意正确填写如下信息:

  • Mail配置

    #config/application.yml文件配置信息。
    mail:
        #SMTP服务地址,免费邮箱的SMTP服务地址请参见免费邮箱SMTP服务地址。
        host: 
        #SMTP服务端口,免费邮箱的SMTP服务端口请参见免费邮箱SMTP服务端口。
        port: 
        #个人邮箱地址
        username: 
        #无需填写
        fromAddress: 
        #个人邮箱授权码,注意非邮箱密码,您可以前往邮箱在账号设置页面开启SMTP服务并申请授权码。
        password: 
        #邮箱昵称,例如Davinci
        nickname: 
    #如下配置项保持默认值即可。
        properties:
          smtp:
            starttls:
              enable: true
              required: true
            auth: true
          mail:
            smtp:
              ssl:
                enable: true
  • 自定义数据源配置

    • 如果您按照Davinci官方资料安装Davinci,打开自定义数据源配置文件datasource_driver.yml,配置如下。

      odps:
          name: odps
          desc: odps
          version:
          driver: com.aliyun.odps.jdbc.OdpsDriver
          keyword_prefix:
          keyword_suffix:
          alias_prefix: \`
          alias_suffix: \`

      配置完成后,手动将MaxCompute JDBC驱动JAR包拷贝至lib目录下,并重启Davinci服务。

    • 如果您按照Docker方式安装Davinci,需要先手动创建一个数据源配置文件datasource_driver.yml,使用命令vim docker-compose.yml打开配置文件,配置如下。

      volumes:
            - %odps-jdbc-x.x.x-jar-with-dependencies.jar所在路径%/odps-jdbc-x.x.x-jar-with-dependencies.jar:/opt/davinci/lib/odps-jdbc-x.x.x-jar-with-dependencies.jar
            - %datasource_driver.yml所在路径%/datasource_driver.yml:/opt/davinci/config/datasource_driver.yml

      odps-jdbc-x.x.x-jar-with-dependencies.jar为MaxCompute JDBC驱动JAR包名称,例如odps-jdbc-3.2.9-jar-with-dependencies.jar。配置完成后,重启Davinci服务。

步骤一:连接Davinci和MaxCompute

说明

当Davinci安装及配置正确时,才可以成功启动Davinci服务。如果启动Davinci服务失败,需要重新检查Davinci配置信息,请参见配置Davinci和挂载驱动注意事项

  1. 启动并登录Davinci服务。

    登录操作,请参见登录Davinci

  2. 在Davinci服务界面,单击右上角新建,创建项目并保存。

  3. 进入新建项目,在左侧导航栏,单击图标图标后,单击添加图标在新增Source对话框配置下表所列参数信息。

    参数

    说明

    名称

    新建数据连接的名称,用于在系统中区分不同数据库的连接。

    类型

    用于连接MaxCompute项目的驱动程序。固定取值为JDBC,无需修改。

    数据库

    目标数据库类型。固定取值为odps,无需修改。

    用户名

    具备目标MaxCompute项目访问权限的AccessKey ID。

    您可以进入AccessKey管理页面获取AccessKey ID。

    密码

    AccessKey ID对应的AccessKey Secret。

    您可以进入AccessKey管理页面获取AccessKey Secret。

    连接Url

    连接MaxCompute项目的URL。格式为jdbc:odps:<Maxcompute_endpoint>?project=<Maxcompute_project_name>[&interactiveMode={true|false}]。配置时删除<>符号。参数说明如下:

    • <MaxCompute_endpoint>:必填。MaxCompute项目所属区域的Endpoint。

      各地域的Endpoint信息,请参见Endpoint

    • <MaxCompute_project_name>:必填。待连接的目标MaxCompute项目名称。

      此处为MaxCompute项目名称,非工作空间名称。您可以登录MaxCompute控制台,左上角切换地域后,即可在项目管理页面查看到具体的MaxCompute项目名称。

    • interactiveMode:可选。查询加速功能开关。

      如果您需要启用查询加速功能,在URL后追加&interactiveMode=true配置即可。更多查询加速功能信息,请参见查询加速

  4. 单击点击测试,连接成功后单击保存,完成Davinci和MaxCompute连接。

步骤二:使用Davinci查询及分析数据

您可以通过Davinci数据视图(View)管理SQL模板,和对执行SQL后获取到的数据模型以及行列权限进行配置,之后可以通过使用可视化组件(Widget)依据数据视图(View)提供的数据模型对SQL结果进行二次聚合分组,然后将二次加工的数据进行可视化编码。您可以执行如下操作,更多操作请参见Davinci帮助

  • 查看所有表

    在数据视图列表页,单击右上角添加图标进入SQL编辑器,选择创建的数据源,即可查看所有表。

    查看所有表
  • 查看表结构

    在数据视图列表页,单击右上角添加图标进入SQL编辑器,选择创建的数据源,编写并运行SQL脚本后,单击下一步,即可查看表结构信息。

  • 查看表数据

    在数据视图列表页,单击右上角添加图标进入SQL编辑器,选择创建的数据源,编写SQL脚本后,单击执行,即可查看表数据信息。

  • 可视化分析数据

    在可视化组件页面,单击右上角添加图标进入图表编辑器,选择图表类型并配置属性后,即可根据实际业务诉求开展数据分析。