MOSS开源对话语言模型
重要
MOSS-MOON-003-SFT模型API目前处于"申请体验"阶段，请点击此处申请。
在您的账号未申请体验或申请未通过时，调用MOSS-MOON-003-SFT模型API将返回错误状态码。
MOSS-MOON-003-SFT模型是复旦大学出品的大规模语言模型，它在灵积平台上的模型名称为"moss-moon-003-sft-v1"。MOSS是一个支持中英双语和多种插件的开源对话语言模型，MOSS-MOON系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。其中模型的演变路径如下：
moss-moon-003-base: MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10^22^次浮点数运算。
moss-moon-003-sft: 基座模型在约110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
开发者可以通过以下链接，了解如何通过DashScope灵积模型服务调用MOSS API。