本文介绍在Databricks数据洞察控制台,执行Spark作业时,如何安装自定义的库或者第三方库。

添加库

  1. 使用阿里云账号登录Databricks数据洞察控制台
  2. 在Databricks数据洞察控制台页面,选择所在的地域(Region)。
    创建的集群将会在对应的地域内,一旦创建后不能修改。
  3. 在左侧导航栏,单击
  4. 页面,单击上方的添加
    添加库对话框中配置以下参数。
    参数 描述
    库来源 包括:
    • OSS:您可以从OSS中,选择类型为Python Egg或Python Whl的文件进行加载。
    • PyPI:您可以直接输入Package的名字即可,Databricks数据洞察会自动选择合适的版本进行安装。
      说明 如果您需要指定版本,可以填写包名==版本。例如,simplejson==3.8.0。
    类型 包括:
    • Python Egg
    • Python Whl
    库名 库名称。
    文件路径 选择待加载的Python Egg或Python Whl的文件。
  5. 单击确定
    页面展示所有用户在所有集群上使用过的库信息。

查看库详情

  1. 使用阿里云账号登录Databricks数据洞察控制台
  2. 在Databricks数据洞察控制台页面,选择所在的地域(Region)。
    创建的集群将会在对应的地域内,一旦创建后不能修改。
  3. 在左侧导航栏,单击
  4. 页面,单击待操作库所在行的详情
    弹出框显示当前库的详情信息。

为集群安装库

  1. 使用阿里云账号登录Databricks数据洞察控制台
  2. 在Databricks数据洞察控制台页面,选择所在的地域(Region)。
    创建的集群将会在对应的地域内,一旦创建后不能修改。
  3. 在左侧导航栏,单击
  4. 页面,单击待操作库所在行的安装
  5. 在弹出框中勾选待安装当前库的集群,单击安装

为集群卸载库

  1. 使用阿里云账号登录Databricks数据洞察控制台
  2. 在Databricks数据洞察控制台页面,选择所在的地域(Region)。
    创建的集群将会在对应的地域内,一旦创建后不能修改。
  3. 在左侧导航栏,单击
  4. 页面,单击待操作库所在行的卸载
  5. 在弹出框中勾选待卸载当前库的集群,单击卸载

查看任务列表

  1. 使用阿里云账号登录Databricks数据洞察控制台
  2. 在Databricks数据洞察控制台页面,选择所在的地域(Region)。
    创建的集群将会在对应的地域内,一旦创建后不能修改。
  3. 在左侧导航栏,单击
  4. 页面,单击待操作库所在行的任务
    任务列表对话框,展示当前库进行的所有操作。

删除库

  1. 使用阿里云账号登录Databricks数据洞察控制台
  2. 在Databricks数据洞察控制台页面,选择所在的地域(Region)。
    创建的集群将会在对应的地域内,一旦创建后不能修改。
  3. 在左侧导航栏,单击
  4. 页面,单击待操作库所在行的删除
  5. 在弹出框中单击确认