MaxCompute支持您将MaxCompute项目数据接入Davinci,您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动,连接Davinci和MaxCompute项目,并进行可视化数据分析。
背景信息
Davinci是面向业务人员、数据工程师、数据分析师及数据科学家,致力于提供一站式数据可视化的解决方案。您既可以在可视化界面上通过简单配置来分析数据,还可以实现高级交互、行业分析、模式探索、社交智能等可视化功能。更多Davinci信息,请参见Davinci。
前提条件
在执行操作前,请确认您已满足如下条件:
已创建MaxCompute项目。
更多创建MaxCompute项目操作,请参见创建MaxCompute项目。
已获取可访问MaxCompute项目的AccessKey ID和AccessKey Secret。
您可以进入AccessKey管理页面获取AccessKey ID和AccessKey Secret。
已下载包含完整依赖JAR包
jar-with-dependencies
的MaxCompute JDBC驱动(v3.0.1及以上版本)。本文中的MaxCompute JDBC驱动示例版本为v3.2.9。
已安装并配置Davinci。
您可以按照Davinci官方资料安装并配置,请参见安装并配置Davinci。您还可以通过Docker方式安装Davinci,并成功挂载MaxCompute JDBC驱动。
配置Davinci和挂载驱动过程中您需要注意正确配置MaxCompute相关信息,请参见配置Davinci和挂载驱动注意事项。
配置Davinci和挂载驱动注意事项
您在配置Davinci和挂载驱动过程中,需要注意正确填写如下信息:
Mail配置
#config/application.yml文件配置信息。 mail: #SMTP服务地址,免费邮箱的SMTP服务地址请参见免费邮箱SMTP服务地址。 host: #SMTP服务端口,免费邮箱的SMTP服务端口请参见免费邮箱SMTP服务端口。 port: #个人邮箱地址 username: #无需填写 fromAddress: #个人邮箱授权码,注意非邮箱密码,您可以前往邮箱在账号设置页面开启SMTP服务并申请授权码。 password: #邮箱昵称,例如Davinci nickname: #如下配置项保持默认值即可。 properties: smtp: starttls: enable: true required: true auth: true mail: smtp: ssl: enable: true
自定义数据源配置
如果您按照Davinci官方资料安装Davinci,打开自定义数据源配置文件datasource_driver.yml,配置如下。
odps: name: odps desc: odps version: driver: com.aliyun.odps.jdbc.OdpsDriver keyword_prefix: keyword_suffix: alias_prefix: \` alias_suffix: \`
配置完成后,手动将MaxCompute JDBC驱动JAR包拷贝至lib目录下,并重启Davinci服务。
如果您按照Docker方式安装Davinci,需要先手动创建一个数据源配置文件datasource_driver.yml,使用命令
vim docker-compose.yml
打开配置文件,配置如下。volumes: - %odps-jdbc-x.x.x-jar-with-dependencies.jar所在路径%/odps-jdbc-x.x.x-jar-with-dependencies.jar:/opt/davinci/lib/odps-jdbc-x.x.x-jar-with-dependencies.jar - %datasource_driver.yml所在路径%/datasource_driver.yml:/opt/davinci/config/datasource_driver.yml
odps-jdbc-x.x.x-jar-with-dependencies.jar
为MaxCompute JDBC驱动JAR包名称,例如odps-jdbc-3.2.9-jar-with-dependencies.jar
。配置完成后,重启Davinci服务。
步骤一:连接Davinci和MaxCompute
当Davinci安装及配置正确时,才可以成功启动Davinci服务。如果启动Davinci服务失败,需要重新检查Davinci配置信息,请参见配置Davinci和挂载驱动注意事项。
启动并登录Davinci服务。
登录操作,请参见登录Davinci。
在Davinci服务界面,单击右上角新建,创建项目并保存。
进入新建项目,在左侧导航栏,单击图标后,单击图标在新增Source对话框配置下表所列参数信息。
参数
说明
名称
新建数据连接的名称,用于在系统中区分不同数据库的连接。
类型
用于连接MaxCompute项目的驱动程序。固定取值为JDBC,无需修改。
数据库
目标数据库类型。固定取值为odps,无需修改。
用户名
具备目标MaxCompute项目访问权限的AccessKey ID。
您可以进入AccessKey管理页面获取AccessKey ID。
密码
AccessKey ID对应的AccessKey Secret。
您可以进入AccessKey管理页面获取AccessKey Secret。
连接Url
连接MaxCompute项目的URL。格式为
jdbc:odps:<Maxcompute_endpoint>?project=<Maxcompute_project_name>[&interactiveMode={true|false}]
。配置时删除<>
符号。参数说明如下:<MaxCompute_endpoint>:必填。MaxCompute项目所属区域的Endpoint。
各地域的Endpoint信息,请参见Endpoint。
<MaxCompute_project_name>:必填。待连接的目标MaxCompute项目名称。
此处为MaxCompute项目名称,非工作空间名称。您可以登录MaxCompute控制台,左上角切换地域后,即可在项目管理页面查看到具体的MaxCompute项目名称。
interactiveMode:可选。查询加速功能开关。
如果您需要启用查询加速功能,在URL后追加
&interactiveMode=true
配置即可。更多查询加速功能信息,请参见查询加速。
单击点击测试,连接成功后单击保存,完成Davinci和MaxCompute连接。
步骤二:使用Davinci查询及分析数据
您可以通过Davinci数据视图(View)管理SQL模板,和对执行SQL后获取到的数据模型以及行列权限进行配置,之后可以通过使用可视化组件(Widget)依据数据视图(View)提供的数据模型对SQL结果进行二次聚合分组,然后将二次加工的数据进行可视化编码。您可以执行如下操作,更多操作请参见Davinci帮助。
查看所有表
在数据视图列表页,单击右上角图标进入SQL编辑器,选择创建的数据源,即可查看所有表。
查看表结构
在数据视图列表页,单击右上角图标进入SQL编辑器,选择创建的数据源,编写并运行SQL脚本后,单击下一步,即可查看表结构信息。
查看表数据
在数据视图列表页,单击右上角图标进入SQL编辑器,选择创建的数据源,编写SQL脚本后,单击执行,即可查看表数据信息。
可视化分析数据
在可视化组件页面,单击右上角图标进入图表编辑器,选择图表类型并配置属性后,即可根据实际业务诉求开展数据分析。