新建Spark Cluster云计算资源
支持添加Spark Cluster类型的数据源,为使用数据资源平台做数据支撑。本文介绍如何新建Spark Cluster云计算资源。
前提条件
已创建工作组,具体操作,请参见新建工作组。
操作步骤
登录数据资源平台控制台。
在页面右上角,单击
图标,选择系统设置。
在页面左侧导航栏,单击工作组管理。
在工作组管理页面,选择目标工作组,单击操作列中云计算资源。
在云计算资源页面,单击新建云计算资源。
在新建云计算资源对话框中,配置各项参数。
参数
说明
云计算资源标识
自定义Spark Cluster计算资源的标识。
资源描述
可对云计算资源的使用场景等特性进行自定义描述。
适用环境
当工作组为专业模式时,可设置云计算资源的使用环境,分为开发和生产环境,对生产环境的数据读写权限、任务上线发布进行严格权限控制。
云计算资源创建后,云计算资源标识自动添加后缀:_dev(开发)、_prod(生产)。
云计算资源类型
从云计算资源类型下拉列表,选择Spark Cluster。
Spark Master Url
请输入Spark Master节点的url,格式为
spark://
host:port
,mesos://
host:port
,k8s://
host:post
,多个master节点用逗号(,
)连接。Spark Management Url
请输入Spark控制台的url,格式为
host:port
,用于结束任务。应用场景标签
选择云计算资源的应用场景标签,可多选。单击添加标签,可自定义应用场景标签。
是否校验连通性
可选项,用于新建资源的连通性测试,默认选是。
配置完成后,单击确定。
在云计算资源列表页面查看新建的云计算资源。