全部产品
云市场
云游戏

会话管理

更新时间:2020-07-07 14:25:48

在使用交互式查询前需要先创建会话,创建会话用于接收交互式查询提交过来的代码、SQL,然后运行并返回结果。

创建会话

在创建会话时,可以直接在会话列表下创建会话,为了后续管理方便,建议您在已有文件夹下创建会话,或者先新建一个文件夹,然后创建会话。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 会话管理

  4. 右键单击会话列表选择新建文件夹或者新建会话,也可以单击创建会话

    如果新建文件夹,在新建文件夹页面输入文件夹名称,单机确定

    创建文件夹

  5. 新建会话页面,输入会话名称会话描述,选择执行集群,单击确定

编写会话内容

  1. 登录Data Lake Analytics管理控制台
  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 会话管理

  4. 单击会话列表左侧加号(+),单击目标会话,在右侧编辑器编写会话内容。

    编辑器

    • 简单会话示例:仅指定会话的名字。

      --name simple_session

    • 复杂会话示例:在会话中调用Jar包、Python Whl包等。

      bash --name session_demo --driver-memory 1G --driver-cores 1 --executor-memory 1G --executor-cores 1 --num-executors 1 --files /pi.py --jars /tmp-1.0.0-SNAPSHOT.jar --py-files /python_wheel/Unidecode-1.0.23-py2.py3-none-any.whl

    会话内容跟作业内容相似,其本质也是一个Spark-Submit提交的作业。与作业内容不同之处是无法指定Class、File参数,详细的参数说明如下表所示。

    Options (参数) 说明
    —class CLASS_NAME Your application’s main class (for Java / Scala apps).
    —jars JARS Comma-separated list of jars to include on the driver and executor classpaths.
    —py-files PY_FILES Comma-separated list of .zip, .egg, or .py files to place on the PYTHONPATH for Python apps.
    —files FILES Comma-separated list of files to be placed in the working directory of each executor. File paths of these files in executors can be accessed via SparkFiles.get(fileName).
    —driver-memory MEM Memory for driver (e.g. 1000M, 2G) (Default: 1024M).
    —driver-cores NUM Number of cores used by the driver, only in cluster mode (Default: 1).
    —executor-cores NUM Number of cores per executor. (Default: 1).
    —executor-memory MEM Memory per executor (e.g. 1000M, 2G) (Default: 1G).
    —num-executors NUM Number of executors to launch (Default: 2).
    —name NAME A name of your application.
    —conf PROP=VALUE Arbitrary Spark configuration property.

运行会话

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 会话管理

  4. 单击会话列表左侧加号(+),选择目标会话,单击右上方运行启动会话。

    运行

单击运行按钮后将启动会话。可以通过以下方式来刷新、查看会话的状态详情,会话启动正常的话会进入到Idle的稳定状态。

查看运行状态

独享版Spark服务支持通过YarnUI、SparkUI查看会话的执行情况,使用YarnUI、SparkUI之前需要完成以下准备工作:

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 会话管理

  4. 单击会话列表左侧加号(+),单击目标会话,您可以进行以下操作。

    • 刷新:单击刷新,实时刷新会话的运行结果列表。

    • 日志:单击日志查看会话的运行信息,当会话运行失败时,通过日志定位错误。

    • SparkUIYarnUI:单击SparkUI或者YarnUI,在SparkUI页面或者YarnUI页面查看会话详情。

停止会话

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 会话管理

  4. 单击会话列表左侧加号(+),选择目标会话,单击右上方停止

  5. 停止提示框中单击确定,停止运行中的会话。

    注意

    停止会话时,如果该会话下有运行的查询任务将会被强制停止。

    停止