阿里云首页 Databricks数据洞察

共享独立RDS元数据库

本文介绍如何配置独立的阿里云RDS,作为Databricks数据洞察集群的元数据。

前提条件

已购买RDS,详情请参见创建RDS MySQL实例

说明

本文以MySQL 5.7版本为例介绍。

元数据库准备

  1. 创建hivemeta的数据库。

    详情请参见创建数据库和账号中的创建数据库。s

  2. 创建用户并授权读写权限

    data
  3. 获取数据库内网地址。

    1. 在实例详细页面,单击左侧导航栏中的数据库连接。

    2. 在数据库连接页面,单击内网地址进行复制。

    data

创建Databricks数据洞察集群

在创建集群的页面,配置以下参数,其他参数的配置请参见创建集群

独立rds新的交互

参数

描述

元数据选择

选择独立RDS MySQL

数据库连接

数据库连接填写格式为jdbc:mysql://rm-xxxxxx.mysql.rds.aliyuncs.com/<数据库名称>。

数据库用户名

填写hive元数据库中账号的用户名。

数据库密码

填写hive元数据库中账号的密码。

Metastore初始化

1. 连接RDS元数据库,首先需要打通Databricks集群与MySQL实例的VPC和VSwitch网络。详情参见RDS (MySQL数据源打通)。

2.配置安全组白名单,并访问Notebook,详情参见安全组白名单。

3.登录Notebook,执行Metastore初始化命令

%sh
schematool -initSchema -dbType mysql

待初始化成功data

说明

在初始化之前,Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常,待初始化之后会恢复正常。

首页 Databricks数据洞察 管理元数据 共享独立RDS元数据库