安装第三方插件,可以在不修改Flume源码的情况下,以插件的方式定制您需要的功能。例如,添加数据源和存储组件等。通过添加JindoFS SDK的插件,可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。

前提条件

  • 已获取第三方插件的JAR包。
  • 已创建集群,并且选择了Flume服务,详情请参见创建集群

操作步骤

支持以下方式:
  • 方式一:修改FLUME_CLASSPATH参数来添加JAR包。
    1. 在E-MapReduce控制台Flume服务的配置页面,在搜索框中输入参数FLUME_CLASSPATH
    2. FLUME_CLASSPATH的参数值添加获取的JAR包,多个CLASSPATH使用英文冒号(:)隔开。flume_jar
    3. 保存配置。
      1. 单击下方的保存
      2. 在弹出的对话框中,输入执行原因,单击保存
    说明 本文以EMR集群为例介绍,非EMR集群请您根据实际情况修改flume-env.shFLUME_CLASSPATH的参数值。
  • 方式二:上传第三方的JAR包至$FLUME_HOME/lib/目录下。
    说明 本文示例中的$FLUME_HOME表示Flume的安装路径,配置第三方插件时,请根据实际情况指定路径。EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib
  • 方式三:上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。
    相关的目录:
    • $FLUME_HOME/plugins.d/lib:插件本身的JAR包。
    • $FLUME_HOME/plugins.d/libext:插件依赖的JAR包。
    • $FLUME_HOME/plugins.d/native:依赖的本地库文件。例如,SO文件。
说明 EMR集群中,通常普通的插件都直接放在/opt/apps/FLUME/flume-current/lib目录中,如果需要上传有复杂依赖的插件,特别是有native依赖的插件,请创建/opt/apps/FLUME/flume-current/plugins.d目录,并按照方式三部署。