Xinference社区版服务实例

概述

Xorbits Inference(Xinference)是一个开源平台,用于简化各种 AI 模型的运行和集成。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的 AI 应用。详情请查看Xinference官网

计费说明

Xinference社区版上的费用主要涉及:

  • 所选vCPU与内存规格

  • 系统盘类型及容量

  • 公网带宽

RAM账号所需权限

部署Xinference社区版,需要对部分阿里云资源进行访问和创建操作。因此您的账号需要包含如下资源的权限。说明:当您的账号是RAM账号时,才需要添加此权限。

权限策略名称

备注

AliyunECSFullAccess

管理云服务器服务(ECS)的权限

AliyunVPCFullAccess

管理专有网络(VPC)的权限

AliyunROSFullAccess

管理资源编排服务(ROS)的权限

AliyunComputeNestUserFullAccess

管理计算巢服务(ComputeNest)的用户侧权限

部署流程

  1. 访问Xinference社区版服务部署链接,按提示填写部署参数:1.jpg

  2. 参数填写完成后可以看到对应询价明细,确认参数后点击下一步:确认订单。 确认订单完成后同意服务协议并点击立即创建进入部署阶段。

  3. 等待部署完成后进入服务实例管理, 在控制台找到Xinference服务访问链接。2.jpg

  4. 单击链接访问服务。参考文档使用客户端访问服务。3.jpg