本文为您介绍E-MapReduce(简称EMR)的Presto提供的内置连接器,以及如何修改和添加连接器等操作。

背景信息

本文为您介绍连接器相关的内容和操作,具体如下:

前提条件

已创建Hadoop集群,并选择了Presto和相应的服务,详情请参见创建集群

EMR Presto内置连接器

EMR Presto默认提供以下几种开箱即用的内置连接器。
连接器 功能 对应文档
hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。 Hive连接器
hive-acc
kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。 Kudu连接器
mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。 MySQL连接器
iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。 Iceberg连接器
jmx 使用JMX连接器可以进行系统监控和调试。
system 使用系统连接器可以查询Presto集群的基本信息和度量。
说明 系统连接器无需配置,所有信息都可以通过名为system的目录获取。

修改内置连接器

您可以在EMR控制台的Presto服务的配置页面,修改各个连接器对应的配置文件。连接器与配置文件对应关系如下表。
连接器 配置文件
hive hive.properties
hive-acc hive-acc.properties
kudu kudu.properties
mysql mysql.properties
iceberg iceberg.properties
jmx jmx.properties
system system.properties
示例:修改Hive连接器
  1. 在EMR控制台的Presto服务的配置页面,在服务配置区域,单击hive.properties页签。
  2. 根据实际情况修改各配置项。

    修改配置项的详细信息,请参见修改组件参数

  3. 保存配置时,在确认修改对话框中开启自动更新配置
  4. 保存完配置后,在右上角选择操作 > 重启All Components
    说明 服务重启完成后,即可正常使用连接器。

增加自定义连接器

您可以使用EMR Presto默认提供的3个占位连接器,增加自定义连接器,分别为connector1、connector2和connector3,即EMR控制台的Presto服务的配置页面的connector1.propertiesconnector2.propertiesconnector3.properties。占位连接器的配置方法与内置连接器一致。

如果你需要增加自定义连接器,修改未被使用的占位连接器配置即可。

示例:增加Mongodb连接器
  1. 进入EMR on ECS控制台的Presto服务的配置页面,在服务配置区域,单击connector1.properties页签。
  2. 修改connector.name的值为mongodb
  3. 根据实际情况添加自定义配置项。

    添加配置项的详细信息,请参见添加组件参数

  4. 保存配置时,在确认修改对话框中开启自动更新配置
  5. 保存完配置后,在右上角选择操作 > 重启All Components
    说明 服务重启完成后,即可正常使用连接器。

测试连通性

  1. 通过SSH方式连接Presto集群,详情请参见登录集群
  2. 执行以下命令,进入Presto控制台。
    presto --server emr-header-1:9090 --catalog hive
    说明 hive为您连接器的名称。
  3. 执行以下命令,查看Schema。
    show schemas;

    当返回信息中,包含FINISHED时,表示连接正常。