模型托管服务简介

更新时间: 2025-06-13 09:59:37

您可以通过托管模型构建AI应用的核心底座,由Function AI基于函数计算封装模型体验,提供Serverless GPU运行时服务。

什么是模型服务

模型服务能力是一项全面托管的模型服务,通过Serverless GPU计算,托管开源与微调模型实现统一的模型构建,为您提供构建生成式AI应用所需的一系列模型能力。

模型服务底层依赖函数计算的GPU作为底层算力,您可以无需关心底层基础设施的管理,只需专注于AI应用的开发,一键拉取大模型,并自动生成开发所需的调用API。

使用模型服务,您可以轻松试验和评估适合您的大模型,通过微调(SFT)和检索增强生成(RAG)等技术利用您的数据对大模型进行私人定制,构建仅服务于您的专属大模型。

模型服务来源

您可以选择平台预设的模型创建服务,此时系统会自动从ModelScope社区拉取模型。如果需要使用预设模型以外的自定义模型,请提前准备好模型文件,并将模型存储在对象存储 OSS或打包成镜像。

ModelScope

支持从ModelScope社区拉取其他未在预设列表中的模型,此时,需要您手动输入以下参数:

  • ModelScope ID:模型ID。

  • 版本号:模型版本,可选。

  • Token:SDK令牌,仅私有模型需要,您可以登录魔搭社区获取访问令牌

image

对象存储OSS

如果您的模型文件存储在对象存储OSS中,根据界面提示,选择Bucket 存储桶并设置路径

image

自定义模型镜像

如果您已将模型打包为镜像,需将镜像托管至阿里云容器镜像ACR,然后根据界面提示选择ACR中的镜像。

image

模型服务将自动从对应来源拉取模型并部署,不同的来源下载速率不一致,可关注部署日志来观测下载速率。以Qwen7B为例,通常下载时间为分钟级。

模型执行框架

目前模型支持ModelScope Library作为底层模型执行框架,请确保自定义模型来源可被ModelScope Library执行并部署。更多信息,请参见Library介绍

目前ModelScope Library支持的模型服务列表,请参见ModelScope Library支持的模型服务列表

创建模型服务

创建模型的操作步骤请参见以下文档:

关于模型推理引擎的选型,请参见模型推理引擎概览与选型指南

访问模型服务

模型服务创建成功后,您可以在服务详情页面,单击访问地址跳转至API调用示例页面,单击测试可以体验当前模型的交互。

image

image

ModelScope Library支持的模型服务列表

模型ID

模型Task

模型大小(GB)

模型版本

thomas/text2vec-base-chinese

sentence-embedding

0.38

v1.0.0

iic/speech_sambert-hifigan_tts_andy_en-us_16k

text-to-speech

0.29

v1.0.1

AI-ModelScope/stable-diffusion-v1.5-no-safetensor

text-to-image-synthesis

11.15

v1.0.0

iic/speech_sambert-hifigan_tts_zhizhe_emo_zh-cn_16k

text-to-speech

0.29

v1.0.3

iic/nlp_bert_document-segmentation_english-base

document-segmentation

0.41

v1.0.1

iic/speech_sambert-hifigan_tts_en-us_16k

text-to-speech

0.35

v1.0.1

iic/ofa_ocr-recognition_document_base_zh

ocr-recognition

0.66

v1.0.1

iic/nlp_lstm_named-entity-recognition_chinese-social_media

named-entity-recognition

0.02

v1.0.0

iic/nlp_seqgpt-560m

text-generation

1.06

v1.0.1

iic/nlp_palm2.0_text-generation_chinese-large

text-generation

2.34

v1.1.0

iic/nlp_raner_named-entity-recognition_english-large-ecom

named-entity-recognition

2.11

v1.0.0

lskhh/flower_classification14

image-classification

1.28

v1.0.3

iic/speech_sambert-hifigan_tts_indah_Indonesian_16k

text-to-speech

0.24

v1.0.2

iic/speech_eres2net_large_mej_lre_16k_common

speech-language-recognition

0.11

v1.0.4

Stefanieliang/cv_vit-base_image-classification_Dailylife-labels_flowers

image-classification

1.28

v1.0.0

iic/cv_segformer-b2_image_semantic-segmentation_coco-stuff164k

image-segmentation

0.31

v2.0.0

iic/speech_eres2net_base_mej_lre_16k_common

speech-language-recognition

0.04

v1.0.1

iic/nlp_structbert_fact-checking_chinese-base

nli

0.38

v1.0.1

AI-ModelScope/opt-125

text-generation

0.7

v1.0.0

iic/nlp_structbert_emotion-classification_chinese-tiny

text-classification

0.03

v1.0.0

Fengshenbang/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

text-to-image-synthesis

3.89

v1.0.0

Fengshenbang/Erlangshen-RoBERTa-110M-NLI

text-classification

0.38

v1.0.0

iic/nlp_ponet_extractive-summarization_doc-level_chinese-base

extractive-summarization

0.44

v1.0.0

chaoscodes/TinyLlama-1.1B-step-50K-105b

text-generation

8.2

v1.0.0

xiaolv/ocr_big

ocr-recognition

0.07

v1.0.0

dienstag/chinese-bert-wwm

fill-mask

1.15

v1.0.0

Fengshenbang/Wenzhong-GPT2-3.5B

text-generation

6.69

v1.0.0

ccyh123/Qwen-VL-Chat-Int4

chat

9.08

v1.0.0

dienstag/chinese-macbert-large

fill-mask

3.73

v1.0.0

Fengshenbang/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese

fill-mask

1.3

v1.0.1

iic/nlp_masts_backbone_clue_chinese-large

fill-mask

1.21

v1.4.1

Fengshenbang/Erlangshen-BERT-120M-IE-Chinese

fill-mask

0.39

v1.0.0

iic/cv_resnet152_open-vocabulary-detection_vild

open-vocabulary-detection

0.31

v1.0.4

iic/nlp_debertav2_fill-mask_chinese-base

fill-mask

0.7

v1.0.1

Fengshenbang/Erlangshen-UniMC-RoBERTa-110M-Chinese

fill-mask

0.38

v1.0.0

dienstag/chinese-xlnet-mid

fill-mask

1.65

v1.0.0

Fengshenbang/Erlangshen-TCBert-1.3B-Sentence-Embedding-Chinese

fill-mask

4.77

v1.0.1

dienstag/Analog-Diffusion

text-to-image-synthesis

3.97

v1.0

iic/multi-modal_rleg-vit-large-patch14

generative-multi-modal-embedding

1.59

v0.0.1

dienstag/portraitplus

text-to-image-synthesis

3.97

v1.0

iic/zero-shot-classify-SSTuning-base

zero-shot-classify-sstuning

0.47

v1.0.2

dienstag/vintedois-diffusion-v0-1

text-to-image-synthesis

3.98

v0.1

dienstag/cino-large-v2

fill-mask

3.82

v1.0.0

dienstag/rbt4-h312

fill-mask

0.11

v1.0.0

Fengshenbang/Erlangshen-DeBERTa-v2-97M-CWS-Chinese

fill-mask

0.36

v1.0.3

Fengshenbang/Erlangshen-TCBert-1.3B-Classification-Chinese

fill-mask

4.77

v1.0.1

zydfx1111/flower

image-classification

1.28

v1.0.0

Fengshenbang/Erlangshen-UniMC-DeBERTa-v2-330M-Chinese

fill-mask

1.19

v1.0.0

dienstag/chinese-electra-180g-base-discriminator

fill-mask

0.76

v1.0.0

dienstag/chinese-electra-small-ex-generator

fill-mask

0.07

v1.0.1

zyqlight/plants_classification

image-classification

5.12

v1.0.3

yonggreen/product_ner

named-entity-recognition

0.38

1.0.0

lawup2/my_test_model

image-captioning

0.83

1.1.4

MoEE3910/moee_xl

text-classification

0.38

v1.0

ValeriaWong/flower_classification14

image-classification

1.28

v1.0.1

asd1821154213/flower_recog

image-classification

1.28

v1.0.1

Liiiiiii/Vit_Flower_Classification

image-classification

1.28

v1.0.0

playmake/LRBV1_qwen_350_1738

chat

3.42

V1.0.0

lskhh/flower_newrecog

image-classification

1.28

V1.0,0

lskhh/flowers_classification-Dreamwing

image-classification

1.28

v1.0.0

iic/cv_resnet50_face-detection_retinaface

face-detection

0.1

v2.0.2

iic/cv_resnet18_ocr-detection-db-line-level_damo

ocr-detection

0.15

v1.3.0

iic/cv_resnest101_animal_recognition

animal-recognition

0.47

v1.0.0

iic/nlp_structbert_faq-question-answering_chinese-base

faq-question-answering

0.42

v1.0.2

iic/nlp_raner_named-entity-recognition_chinese-base-ecom-50cls

named-entity-recognition

0.38

v1.0.0

上一篇: 快速入门 下一篇: 模型推理引擎概览与选型指南
阿里云首页 函数计算 相关技术圈