准备工作

本文为您介绍如何准备Mars运行环境。

前提条件

  • DataWorks运行环境准备,详情请参见快速入门

  • DataWorks中PyODPS 3节点底层的Python版本为3.7,其他环境Python版本至少3.7及以上。

环境准备

在MaxCompute上运行Mars服务,您需要准备相应的运行环境。MaxCompute支持如下两种运行环境:

  • DataWorks

    1. DataWorks中的PyODPS 3节点,已经包含了PyODPS和Mars功能。

      您可以在新建的PyODPS 3节点里执行如下命令检查PyODPS和Mars版本,确保满足要求。

      from odps import __version__ as odps_version
      from mars import __version__ as mars_version
      print(odps_version)
      print(mars_version)

      odps_version为PyODPS版本,要求PyODPS为0.9.3.1以上版本。mars_version为Mars版本,要求Mars为0.4.4以上版本。

    2. 准备PyODPS入口。

      DataWorks的PyODPS 3节点会自动创建PyODPS入口,因此您无需手动创建,即可直接使用。

  • 其他环境

    1. 您需要先安装pip,安装完成后,在系统的命令行执行窗口(例如Windows的cmd窗口),通过pip命令安装PyODPS和Mars。命令示例如下。

      • (可选)确保pip版本为最新版本。

        pip install -U pip
      • 安装PyODPS最新版本。https://mirrors.aliyun.com/pypi/simple/ 是阿里云镜像,可以加快下载包的速度。

        pip install pyodps -i https://mirrors.aliyun.com/pypi/simple/
      • 安装Mars最新版本。

        pip install pymars -i https://mirrors.aliyun.com/pypi/simple/
      • 安装ProtoBuf最新版本。

        pip install protobuf -i https://mirrors.aliyun.com/pypi/simple/
      • (可选)安装PyArrow最新版本,可以加速运行。

        pip install pyarrow -i https://mirrors.aliyun.com/pypi/simple/
    2. 准备PyODPS入口。

      您需要通过AccessKey ID和AccessKey Secret等参数创建PyODPS入口。详情请参见初始化PyODPS入口