本文介绍如何配置独立的阿里云RDS,作为Databricks数据洞察集群的元数据。
前提条件
已购买RDS,详情请参见创建RDS MySQL实例。
说明
本文以MySQL 5.7版本为例介绍。
元数据库准备
创建hivemeta的数据库
详情请参见创建数据库和账号中的创建数据库。
创建用户并授权读写权限
获取数据库内网地址
在实例详细页面,单击左侧导航栏中的数据库连接。
在数据库连接页面,单击内网地址进行复制。
创建Databricks数据洞察集群
在创建集群的页面,配置以下参数,其他参数的配置请参见创建集群。
参数 | 描述 |
元数据选择 | 选择独立RDS MySQL |
数据库连接 | 数据库连接填写格式为jdbc:mysql://rm-xxxxxx.mysql.rds.aliyuncs.com/<数据库名称>。 |
数据库用户名 | 填写hive元数据库中账号的用户名。 |
数据库密码 | 填写hive元数据库中账号的密码。 |
Metastore初始化
1. 连接RDS元数据库,首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见RDS (MySQL数据源打通)。
2.配置安全组白名单,并访问Notebook,详情参见安全组白名单。
3.登录Notebook,执行Metastore初始化命令。
%sh
schematool -initSchema -dbType mysql
待初始化成功
说明
在初始化之前,Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常,待初始化之后会恢复正常。
文档内容是否对您有帮助?