模型服务
您可以通过托管模型构建AI应用的核心底座，由云原生应用开发平台 CAP基于函数计算封装模型体验，提供Serverless GPU运行时服务。
什么是模型服务
模型服务能力是一项全面托管的模型服务，通过Serverless GPU计算，托管开源与微调模型实现统一的模型构建，为您提供构建生成式AI应用所需的一系列模型能力。
模型服务底层依赖函数计算的GPU作为底层算力，您可以无需关心底层基础设施的管理，只需专注于AI应用的开发，一键拉取大模型，并自动生成开发所需的调用API。
使用模型服务，您可以轻松试验和评估适合您的大模型，通过微调（SFT）和检索增强生成（RAG）等技术利用您的数据对大模型进行私人定制，构建仅服务于您的专属大模型。
模型服务来源
ModelScope
从ModelScope官网拉取模型。
对象存储 OSS
从您创建的OSS Bucket中获取存放的模型。
自定义模型镜像
选择您托管到容器镜像服务 ACR中的镜像模型。
模型服务将自动从对应来源拉取模型并部署，不同的来源下载速率不一致，可关注部署日志来观测下载速率。以Qwen7B为例，通常下载时间为分钟级。
模型执行框架
目前模型支持ModelScope Library作为底层模型执行框架，请确保自定义模型来源可被ModelScope Library执行并部署。更多信息，请参见Library介绍。
目前ModelScope Library支持的模型服务列表，请参见ModelScope Library支持的模型服务列表。
前提条件
已创建项目，具体操作，请参见管理项目。
创建模型服务
使用控制台模板列表中的模板创建项目时，部分模板默认会创建模型服务，您也可以手动添加模型服务。
登录云原生应用开发平台 CAP控制台，单击目标项目，在项目详情页面，单击左上角的新建服务，选择模型服务类型并单击跳转至创建服务页面。
在创建服务页面，选择开源模型（图示中①）以及所需的资源信息，然后单击预览&部署。如果没有特殊需求，其他配置项保持默认值即可。
您也可以单击更多模型来源（图示中②），手动添加模型，详见步骤3。
（可选）单击更多模型来源，在选择模型对话框手动添加模型。
ModelScope
支持从ModelScope官网获取模型ID，版本号。
Token为ModelScope令牌。
更多ModelScope模型详见ModelScope Library支持的模型服务列表。
对象存储 OSS
如图所示，需选择您的Bucket，并填写模型存储路径。
自定义模型镜像
如图所示，选择您托管在容器镜像服务 ACR中的模型镜像，详情请见镜像使用说明。
在弹出的服务资源预览对话框，确认信息后单击确认部署。
访问模型服务
模型服务创建成功后，您可以在服务详情页面，单击API 地址跳转至API调用示例页面，单击测试进行相关模型试用。
更新模型服务
服务部署成功后，您可以在已部署模型详情页面编辑基础配置的模型信息，也可以编辑底层资源配置信息。如下图所示，依次单击编辑修改配置并保存。
删除服务
选中要删除的服务，点击删除。进入删除服务确认弹窗。
勾选我已知晓：删除该项目及选中的服务将立刻中断其所服务的线上业务，并且不可恢复，同时将彻底删除其所依赖的云产品资源，然后单击确定删除。
ModelScope Library支持的模型服务列表
模型ID | 模型Task | 模型大小（GB） | 模型版本 |
thomas/text2vec-base-chinese | sentence-embedding | 0.38 | v1.0.0 |
iic/speech_sambert-hifigan_tts_andy_en-us_16k | text-to-speech | 0.29 | v1.0.1 |
AI-ModelScope/stable-diffusion-v1.5-no-safetensor | text-to-image-synthesis | 11.15 | v1.0.0 |
iic/speech_sambert-hifigan_tts_zhizhe_emo_zh-cn_16k | text-to-speech | 0.29 | v1.0.3 |
iic/nlp_bert_document-segmentation_english-base | document-segmentation | 0.41 | v1.0.1 |
iic/speech_sambert-hifigan_tts_en-us_16k | text-to-speech | 0.35 | v1.0.1 |
iic/ofa_ocr-recognition_document_base_zh | ocr-recognition | 0.66 | v1.0.1 |
iic/nlp_lstm_named-entity-recognition_chinese-social_media | named-entity-recognition | 0.02 | v1.0.0 |
iic/nlp_seqgpt-560m | text-generation | 1.06 | v1.0.1 |
iic/nlp_palm2.0_text-generation_chinese-large | text-generation | 2.34 | v1.1.0 |
iic/nlp_raner_named-entity-recognition_english-large-ecom | named-entity-recognition | 2.11 | v1.0.0 |
lskhh/flower_classification14 | image-classification | 1.28 | v1.0.3 |
iic/speech_sambert-hifigan_tts_indah_Indonesian_16k | text-to-speech | 0.24 | v1.0.2 |
iic/speech_eres2net_large_mej_lre_16k_common | speech-language-recognition | 0.11 | v1.0.4 |
Stefanieliang/cv_vit-base_image-classification_Dailylife-labels_flowers | image-classification | 1.28 | v1.0.0 |
iic/cv_segformer-b2_image_semantic-segmentation_coco-stuff164k | image-segmentation | 0.31 | v2.0.0 |
iic/speech_eres2net_base_mej_lre_16k_common | speech-language-recognition | 0.04 | v1.0.1 |
iic/nlp_structbert_fact-checking_chinese-base | nli | 0.38 | v1.0.1 |
AI-ModelScope/opt-125 | text-generation | 0.7 | v1.0.0 |
iic/nlp_structbert_emotion-classification_chinese-tiny | text-classification | 0.03 | v1.0.0 |
Fengshenbang/Taiyi-Stable-Diffusion-1B-Chinese-v0.1 | text-to-image-synthesis | 3.89 | v1.0.0 |
Fengshenbang/Erlangshen-RoBERTa-110M-NLI | text-classification | 0.38 | v1.0.0 |
iic/nlp_ponet_extractive-summarization_doc-level_chinese-base | extractive-summarization | 0.44 | v1.0.0 |
chaoscodes/TinyLlama-1.1B-step-50K-105b | text-generation | 8.2 | v1.0.0 |
xiaolv/ocr_big | ocr-recognition | 0.07 | v1.0.0 |
dienstag/chinese-bert-wwm | fill-mask | 1.15 | v1.0.0 |
Fengshenbang/Wenzhong-GPT2-3.5B | text-generation | 6.69 | v1.0.0 |
ccyh123/Qwen-VL-Chat-Int4 | chat | 9.08 | v1.0.0 |
dienstag/chinese-macbert-large | fill-mask | 3.73 | v1.0.0 |
Fengshenbang/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese | fill-mask | 1.3 | v1.0.1 |
iic/nlp_masts_backbone_clue_chinese-large | fill-mask | 1.21 | v1.4.1 |
Fengshenbang/Erlangshen-BERT-120M-IE-Chinese | fill-mask | 0.39 | v1.0.0 |
iic/cv_resnet152_open-vocabulary-detection_vild | open-vocabulary-detection | 0.31 | v1.0.4 |
iic/nlp_debertav2_fill-mask_chinese-base | fill-mask | 0.7 | v1.0.1 |
Fengshenbang/Erlangshen-UniMC-RoBERTa-110M-Chinese | fill-mask | 0.38 | v1.0.0 |
dienstag/chinese-xlnet-mid | fill-mask | 1.65 | v1.0.0 |
Fengshenbang/Erlangshen-TCBert-1.3B-Sentence-Embedding-Chinese | fill-mask | 4.77 | v1.0.1 |
dienstag/Analog-Diffusion | text-to-image-synthesis | 3.97 | v1.0 |
iic/multi-modal_rleg-vit-large-patch14 | generative-multi-modal-embedding | 1.59 | v0.0.1 |
dienstag/portraitplus | text-to-image-synthesis | 3.97 | v1.0 |
iic/zero-shot-classify-SSTuning-base | zero-shot-classify-sstuning | 0.47 | v1.0.2 |
dienstag/vintedois-diffusion-v0-1 | text-to-image-synthesis | 3.98 | v0.1 |
dienstag/cino-large-v2 | fill-mask | 3.82 | v1.0.0 |
dienstag/rbt4-h312 | fill-mask | 0.11 | v1.0.0 |
Fengshenbang/Erlangshen-DeBERTa-v2-97M-CWS-Chinese | fill-mask | 0.36 | v1.0.3 |
Fengshenbang/Erlangshen-TCBert-1.3B-Classification-Chinese | fill-mask | 4.77 | v1.0.1 |
zydfx1111/flower | image-classification | 1.28 | v1.0.0 |
Fengshenbang/Erlangshen-UniMC-DeBERTa-v2-330M-Chinese | fill-mask | 1.19 | v1.0.0 |
dienstag/chinese-electra-180g-base-discriminator | fill-mask | 0.76 | v1.0.0 |
dienstag/chinese-electra-small-ex-generator | fill-mask | 0.07 | v1.0.1 |
zyqlight/plants_classification | image-classification | 5.12 | v1.0.3 |
yonggreen/product_ner | named-entity-recognition | 0.38 | 1.0.0 |
lawup2/my_test_model | image-captioning | 0.83 | 1.1.4 |
MoEE3910/moee_xl | text-classification | 0.38 | v1.0 |
ValeriaWong/flower_classification14 | image-classification | 1.28 | v1.0.1 |
asd1821154213/flower_recog | image-classification | 1.28 | v1.0.1 |
Liiiiiii/Vit_Flower_Classification | image-classification | 1.28 | v1.0.0 |
playmake/LRBV1_qwen_350_1738 | chat | 3.42 | V1.0.0 |
lskhh/flower_newrecog | image-classification | 1.28 | V1.0,0 |
lskhh/flowers_classification-Dreamwing | image-classification | 1.28 | v1.0.0 |
iic/cv_resnet50_face-detection_retinaface | face-detection | 0.1 | v2.0.2 |
iic/cv_resnet18_ocr-detection-db-line-level_damo | ocr-detection | 0.15 | v1.3.0 |
iic/cv_resnest101_animal_recognition | animal-recognition | 0.47 | v1.0.0 |
iic/nlp_structbert_faq-question-answering_chinese-base | faq-question-answering | 0.42 | v1.0.2 |
iic/nlp_raner_named-entity-recognition_chinese-base-ecom-50cls | named-entity-recognition | 0.38 | v1.0.0 |