本文为您介绍E-MapReduce(简称EMR)的Presto提供的内置连接器,以及如何修改和添加连接器等操作。
背景信息
本文为您介绍连接器相关的内容和操作,具体如下:
EMR Presto内置连接器
EMR Presto默认提供以下几种开箱即用的内置连接器。
连接器 | 功能 | 对应文档 |
---|---|---|
hive | 使用Hive连接器可以查询存储在Hive数据仓库中的数据。 | Hive连接器 |
kudu | 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。 | Kudu连接器 |
mysql | 使用MySQL连接器可以在外部MySQL实例中查询和创建表。 | MySQL连接器 |
iceberg | 使用Iceberg连接器可以查询Iceberg格式的数据文件。 | Iceberg连接器 |
hudi | 使用Hudi连接器可以查询COW和MOR表。 | Hudi连接器 |
delta | 使用Delta连接器可以查询Delta Lake表。 | Delta连接器 |
jmx | 使用JMX连接器可以进行系统监控和调试。 | JMX连接器 |
system | 使用系统连接器可以查询Presto集群的基本信息和度量。
说明 系统连接器无需配置,所有信息都可以通过名为
system 的目录获取。
|
无 |
修改内置连接器
您可以在EMR控制台的Presto服务的配置页面,修改各个连接器对应的配置文件。连接器与配置文件对应关系如下表。
连接器 | 配置文件 |
---|---|
hive | hive.properties |
kudu | kudu.properties |
mysql | mysql.properties |
iceberg | iceberg.properties |
hudi | hudi.properties |
delta | delta.properties |
jmx | jmx.properties |
system | system.properties |
示例:修改Hive连接器
- 在EMR控制台的Presto服务的配置页面,在服务配置区域,单击hive.properties页签。
- 根据实际情况修改各配置项。
修改配置项的详细信息,请参见管理配置项。
- 保存完配置后,在右上角选择说明 服务重启完成后,即可正常使用连接器。
。
增加自定义连接器
您可以使用EMR Presto默认提供的5个占位连接器,增加自定义连接器,分别为connector1、connector2、connector3、connector4和connector5,即EMR控制台的Presto服务的配置页面的connector1.properties、connector2.properties、connector3.properties、connector4.properties和connector5.properties。占位连接器的配置方法与内置连接器一致。
如果你需要增加自定义连接器,修改未被使用的占位连接器配置即可。
示例:增加Mongodb连接器
- 进入EMR on ECS控制台的Presto服务的配置页面,在服务配置区域,单击connector1.properties页签。
- 修改connector.name的值为mongodb。
- 根据实际情况添加自定义配置项。
添加配置项的详细信息,请参见修改配置项。
- 保存完配置后,在右上角选择说明 服务重启完成后,即可正常使用连接器。
。