本文为您介绍使用Hive/HadoopMR访问表格存储中的表前的环境准备。
使用Hive/HadoopMR来访问表格存储中的表
通过表格存储及E-MapReduce官方团队发布的依赖包,可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。
安装JDK-7+
安装并启动Hadoop环境
下载及安装Hive环境
下载表格存储的Java SDK
下载阿里云EMR SDK
下载EMR SDK依赖包,具体下载路径请参见EMR SDK依赖包。
本文为您介绍使用Hive/HadoopMR访问表格存储中的表前的环境准备。
通过表格存储及E-MapReduce官方团队发布的依赖包,可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。
Linux/macOS系统:使用系统自带的包管理器安装
Windows系统:具体下载路径请参见JDK安装包
$ java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
$ bin/start-all.sh
# 检查服务是否成功启动。
$ jps
24017 NameNode
24835 Jps
24131 DataNode
24438 ResourceManager
5114 HMaster
24287 SecondaryNameNode
24527 NodeManager
export HADOOP_HOME=/data/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
$ mkdir /home/admin/hive-2.1.0
$ tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /home/admin/
$ mv /home/admin/apache-hive-2.1.0-bin /home/admin/hive-2.1.0/
# 进入指定的目录。
$ cd /home/admin/hive-2.1.0/
# 初始化,如果是mysql则derby可以直接替换成mysql。
# 如果执行出错可以删除rm -rf metastore_db/之后重新执行。
$ ./bin/schematool -initSchema -dbType derby
$ ./bin/hive
# 检查服务是否成功启动。
hive> show databases;
OK
default
Time taken: 0.207 seconds, Fetched: 1 row(s)
$ mv tablestore-4.1.0-jar-with-dependencies.jar /home/admin/hive-2.1.0/
下载EMR SDK依赖包,具体下载路径请参见EMR SDK依赖包。
在文档使用中是否遇到以下问题
更多建议
匿名提交