本文为您介绍E-MapReduce(简称EMR)的Presto提供的内置连接器,以及如何修改和添加连接器等操作。

背景信息

本文为您介绍连接器相关的内容和操作,具体如下:

EMR Presto内置连接器

EMR Presto默认提供以下几种开箱即用的内置连接器。
连接器 功能 对应文档
hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。 Hive连接器
kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。 Kudu连接器
mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。 MySQL连接器
iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。 Iceberg连接器
hudi 使用Hudi连接器可以查询COW和MOR表。 Hudi连接器
delta 使用Delta连接器可以查询Delta Lake表。 Delta连接器
jmx 使用JMX连接器可以进行系统监控和调试。 JMX连接器
system 使用系统连接器可以查询Presto集群的基本信息和度量。
说明 系统连接器无需配置,所有信息都可以通过名为system的目录获取。

修改内置连接器

您可以在EMR控制台的Presto服务的配置页面,修改各个连接器对应的配置文件。连接器与配置文件对应关系如下表。
连接器 配置文件
hive hive.properties
kudu kudu.properties
mysql mysql.properties
iceberg iceberg.properties
hudi hudi.properties
delta delta.properties
jmx jmx.properties
system system.properties
示例:修改Hive连接器
  1. 在EMR控制台的Presto服务的配置页面,在服务配置区域,单击hive.properties页签。
  2. 根据实际情况修改各配置项。

    修改配置项的详细信息,请参见管理配置项

  3. 保存完配置后,在右上角选择更多操作 > 重启
    说明 服务重启完成后,即可正常使用连接器。

增加自定义连接器

您可以使用EMR Presto默认提供的5个占位连接器,增加自定义连接器,分别为connector1、connector2、connector3、connector4和connector5,即EMR控制台的Presto服务的配置页面的connector1.propertiesconnector2.propertiesconnector3.propertiesconnector4.propertiesconnector5.properties。占位连接器的配置方法与内置连接器一致。

如果你需要增加自定义连接器,修改未被使用的占位连接器配置即可。

示例:增加Mongodb连接器
  1. 进入EMR on ECS控制台的Presto服务的配置页面,在服务配置区域,单击connector1.properties页签。
  2. 修改connector.name的值为mongodb
  3. 根据实际情况添加自定义配置项。

    添加配置项的详细信息,请参见修改配置项

  4. 保存完配置后,在右上角选择更多操作 > 重启
    说明 服务重启完成后,即可正常使用连接器。