您可以通过MaxCompute客户端(odpscmd)访问MaxCompute的项目空间。本文为您介绍如何安装、配置和运行客户端。

前提条件

  • 待安装MaxCompute客户端的设备已安装Java 8或以上版本。MaxCompute客户端(odpscmd)是基于Java开发的。
  • 已创建项目空间,详情请参见创建项目空间
  • 如果是RAM用户且未创建项目空间,请确认已添加为主账号对应的项目空间成员并设置角色,详情请参见添加工作空间成员并设置角色

背景信息

您可以通过如下方式完成MaxCompute项目数据开发,本文仅引导您完成MaxCompute客户端(odpscmd)的安装和配置,其他方式请您参见对应文档进行操作:
  • MaxCompute客户端(odpscmd):使用详情请参见MaxCompute客户端(odpscmd)
  • MaxCompute Studio:可以实现完整的数据开发流程,您可以基于该工具开发SQL、Java(UDF、MapReduce、Graph)、Python脚本。MaxCompute客户端(odpscmd)已集成在MaxCompute Studio工具中。如果您需要构造完整的数据开发流程,推荐您使用该工具。详情请参见MaxCompute Studio
  • DataWorks:您可以在DataWorks控制台中创建的项目空间右侧,单击进入数据开发,进入开发界面。
  • 第三方工具:基于IntelliJ IDEA开发Java SDKPython SDK;基于JDBC配合Tableau完成数据可视化分析、配合SQL Workbench/J执行SQL语句。

操作步骤

  1. 下载MaxCompute客户端安装包
  2. 解压下载的安装包文件,得到binconflibplugins文件夹。
  3. 进入conf文件夹,配置odps_config.ini文件。
    odps_config.ini文件内容如下。
    project_name=
    access_id=
    access_key=
    end_point=
    log_view_host=
    https_check=
    # confirm threshold for query input size(unit: GB)
    data_size_confirm=
    # this url is for odpscmd update
    update_url=
    # download sql results by instance tunnel
    use_instance_tunnel=
    # the max records when download sql results by instance tunnel
    instance_tunnel_max_record=
    # IMPORTANT:
    #   If leaving tunnel_endpoint untouched, console will try to automatically get one from odps service, which might charge networking fees in some cases.
    #   Please refer to 配置Endpoint
    # tunnel_endpoint=
    
    # use set.<key>=
    # e.g. set.odps.sql.select.output.format=

    odps_config.ini文件中使用井号(#)作为注释。参数详细信息如下。

    参数 是否必填 描述 示例
    project_name 访问的目标MaxCompute项目名称。

    如果您创建了标准模式的工作空间,在配置project_name时,请注意区分生产环境与开发环境(_dev)的项目名称,请参见简单模式和标准模式的区别

    您可以登录MaxCompute控制台,在项目管理页签获取MaxCompute项目名称。

    doc_test_dev
    access_id 阿里云账号或RAM用户的AccessKey ID。

    您可以进入AccessKey管理页面获取AccessKey ID。

    access_key AccessKey ID对应的AccessKey Secret。

    您可以进入AccessKey管理页面获取AccessKey Secret。

    end_point MaxCompute服务的连接地址。

    您需要根据创建MaxCompute项目时选择的地域以及网络连接方式配置Endpoint。各地域及网络对应的Endpoint值,请参见Endpoint

    注意 如果Endpoint配置有误,会出现无法访问错误,请务必仔细确认。
    http://service.cn-hangzhou.maxcompute.aliyun.com/api
    log_view_host Logview地址。您可以通过该地址查看作业的详细运行信息,并为报错处理提供依据。固定取值为:http://logview.odps.aliyun.com。
    说明 推荐您配置该参数,如果不配置该参数,在作业报错时无法快速定位问题。
    http://logview.odps.aliyun.com
    https_check 是否开启HTTPS访问机制,对访问MaxCompute项目的请求进行加密。取值范围如下:
    • True:采用HTTPS机制。
    • False:采用HTTP机制。

    默认值为False。

    True
    data_size_confirm 输入数据量的最大值,单位为GB。取值范围无限制。推荐设置为100 GB。 100
    update_url 预留参数,暂无需关注。
    use_instance_tunnel 是否使用InstanceTunnel下载SQL执行结果。取值范围如下:
    • True:使用InstanceTunnel下载SQL执行结果。
    • False:不使用InstanceTunnel下载SQL执行结果。

    默认值为False。

    True
    instance_tunnel_max_record 客户端返回的SQL执行结果的最大记录数。如果use_instance_tunnel值为True,需要配置该参数。最大值为10000。 10000
    tunnel_endpoint Tunnel服务的外网访问链接。如果您未配置Tunnel Endpoint,Tunnel会自动路由到MaxCompute服务所在网络对应的Tunnel Endpoint。如果您配置了Tunnel Endpoint,则以配置为准,不进行自动路由。

    各地域及网络对应的Tunnel Endpoint值,请参见Endpoint

    http://dt.cn-hangzhou.maxcompute.aliyun.com
    set.<key> 设置MaxCompute项目的属性。

    更多属性信息,请参见属性列表

    set.odps.sql.decimal.odps2=true
  4. 运行bin目录下的MaxCompute客户端(Linux系统下运行./bin/odpscmd,Windows下运行./bin/odpscmd.bat)。
    出现如下信息,表示运行成功。运行客户端.png