安装第三方插件,可以在不修改Flume源码的情况下,以插件的方式定制您需要的功能。例如,添加数据源和存储组件等。通过添加JindoFS SDK的插件,可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。
前提条件
- 已获取第三方插件的JAR包。
- 已创建集群,并且选择了Flume服务,详情请参见创建集群。
操作步骤
支持以下方式:
- 方式一:修改FLUME_CLASSPATH参数来添加JAR包。
- 在E-MapReduce控制台Flume服务的配置页面,在搜索框中输入参数FLUME_CLASSPATH。
- 给FLUME_CLASSPATH的参数值添加获取的JAR包,多个CLASSPATH使用英文冒号(:)隔开。
- 保存配置。
- 单击下方的保存。
- 在弹出的对话框中,输入执行原因,单击保存。
说明 本文以EMR集群为例介绍,非EMR集群请您根据实际情况修改flume-env.sh中FLUME_CLASSPATH
的参数值。 - 方式二:上传第三方的JAR包至$FLUME_HOME/lib/目录下。说明 本文示例中的
$FLUME_HOME
表示Flume的安装路径,配置第三方插件时,请根据实际情况指定路径。EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib。 - 方式三:上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。相关的目录:
- $FLUME_HOME/plugins.d/lib:插件本身的JAR包。
- $FLUME_HOME/plugins.d/libext:插件依赖的JAR包。
- $FLUME_HOME/plugins.d/native:依赖的本地库文件。例如,SO文件。
说明 EMR集群中,通常普通的插件都直接放在/opt/apps/FLUME/flume-current/lib目录中,如果需要上传有复杂依赖的插件,特别是有native依赖的插件,请创建/opt/apps/FLUME/flume-current/plugins.d目录,并按照方式三部署。