Data Science集群内置Python 3的Tensorflow 1.15.0版本,可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业,Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本以及如何安装Python包。
使用引导
查看版本信息
-
使用SSH方式登录到集群主节点,详情请参见登录集群。
-
使用pip3 list命令,查看TensorFlow的版本信息。
执行结果中,tensorflow 版本为 1.15.0,tensorflow-estimator 版本为 1.15.1。
[root@emr-header-1 ~]# pip3 list Package Version ---------------------- ---------- absl-py 0.9.0 analytics-zoo 0.8.1 astor 0.8.1 BigDL 0.10.0 conda-pack 0.3.1 gast 0.2.2 google-pasta 0.2.0 grpcio 1.29.0 h5py 2.10.0 importlib-metadata 1.6.1 Keras-Applications 1.0.8 Keras-Preprocessing 1.1.2 Markdown 3.2.2 numpy 1.18.5 opt-einsum 3.2.1 pip 19.2.3 protobuf 3.12.2 py4j 0.10.7 PyHamcrest 2.0.2 pydoc 1.5 pyspark 2.4.3 setuptools 41.2.0 six 1.15.0 tensorboard 1.15.0 tensorflow 1.15.0 tensorflow-estimator 1.15.1 termcolor 1.1.0 Werkzeug 1.0.1 wheel 0.34.2 wrapt 1.12.1 zipp 3.1.0
切换TensorFlow版本
-
下载切换TensorFlow版本的压缩包。
切换TensorFlow版本压缩包:install_tf_header.tar.gz
-
使用文件传输工具,上传install_tf_header.tar.gz至Data Science集群Master节点的任意目录下。
说明本文上传至/home目录。
-
使用SSH方式登录到集群主节点,详情请参见登录集群。
-
执行如下命令,切换TensorFlow版本。
-
解压缩文件。
tar -zxvf install_tf_header.tar.gz -
切换TensorFlow版本。
-
命令格式
sh install_tf_header.sh <version>version为您需要切换的版本号。 -
示例:执行如下命令,切换TensorFlow版本为2.0.3。
sh install_tf_header.sh 2.0.3
-
-
-
使用pip3 list命令,查看TensorFlow版本号。
TensorFlow版本已经切换为2.0.3版本。
安装Python包
-
下载安装Python的压缩包。
安装Python的压缩包:install_app_onds.tar.gz
-
使用文件传输工具,上传install_app_onds.tar.gz至Data Science集群Master节点的任意目录下。
说明本文上传至/home目录。
-
使用SSH方式登录到集群主节点,详情请参见登录集群。
-
执行如下命令,在Data Science集群所有节点安装Python包。
-
解压缩文件。
tar -zxvf install_app_onds.tar.gz -
安装Python包。
-
命令格式
sh install_app_onds.sh <package_name> <version>其中涉及参数如下:
-
package_name为您需要安装的Python包名。 -
version为您需要安装Python包的版本号。
-
-
示例:执行如下命令,在Data Science集群的所有节点上安装GNU Readline包,版本号为8.0.0。
sh install_app_onds.sh gnureadline 8.0.0
-
-