模型服务

更新时间:
复制为 MD 格式

EMR Serverless Spark 提供统一的外部模型服务注册能力,支持对接百炼、PAI-EAS 及自建模型服务。配合 AI Function 能够快速为您提供在线推理服务,无需通过程序显式调用模型服务 API。

操作步骤

  1. 进入模型服务页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的AI 中心 > 模型服务

  2. 在模型服务页签,单击创建外部模型服务,并配置以下信息:

    字段

    值示例

    说明

    模型服务名称

    my_qwen_service

    该名称用于后续AI FunctionendpointName入参的值,工作空间中唯一,不支持后续修改。

    Endpoint

    http://12*******39.vpc.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/<ServiceName>/v1

    填写外部模型服务的Endpoint,如果是PAI-EAS模型,需要在末尾加上/v1。

    说明

    如果使用的模型服务提供的是公网Endpoint,在Serverless Spark中使用该模型时需要给Spark任务配置具备公网访问能力的网络连接,详情请参见网络连接

    模型名称

    Qwen3.5-Plus

    实际调用时的model名称。

    模型类型

    Chat

    根据部署的模型类型选择Chat还是Embedding

    API KEY

    nMzI**********************Zg==

    模型服务的API Key。

    描述

    千问最新多模态模型服务

    填写服务的简要描述,便于识别。

  3. 确认所有配置项无误后,单击创建完成模型服务注册。

相关文档