文档

多模态文生图模型

更新时间:
一键部署

模型简介

StableDiffusion文生图模型目前针对开源社区的stable-diffusion-v1.5版本和stable-diffusion-xl版本进行了服务化支持。

其中,stable-diffusion-v1.5模型通过clip模型能够将文本的embedding和图片embedding映射到相同空间,从而通过输入文本并结合unet的稳定扩散预测噪声的能力,生成图片。是一款基础的文生图模型,得到了业界广泛使用。而stable-diffusion-xl相比于v1.5做了重大的改进,被认为是当前开源文生图模型的SOTA水准,具体改进之处包括: 更大的unet backbone,是之前的3倍; 增加了refinement模块用于改善生成图片的质量;更高效的训练技巧等。

模型概览

模型服务

模型名称

模型描述

应用场景

StableDiffusion文生图模型

stable-diffusion-xl

而stable-diffusion-xl相比于v1.5做了重大的改进,被认为是当前开源文生图模型的SOTA水准,具体改进之处包括: 更大的unet backbone,是之前的3倍; 增加了refinement模块用于改善生成图片的质量;更高效的训练技巧等。

  • 改善生成图片质量;

  • 图片生成;

stable-diffusion-v1.5

stable-diffusion-v1.5模型通过clip模型能够将文本的embedding和图片embedding映射到相同空间,从而通过输入文本并结合unet的稳定扩散预测噪声的能力,生成图片。是一款基础的文生图模型,得到了业界广泛使用

FaceChain人物图像检测

facechain-facedetect

FaceChain人物写真生成,仅需要某个人物的2张照片,即可训练得到该人物的专属形象,并批量生成各种风格的写真照片。FaceChain基于扩散模型的图像生成能力,结合LoRA训练实现人像和风格融合,并叠加一系列后处理能力,实现兼具相似度、真实感、美观度的写真生成能力。

  • 人物写真生成;

  • 生成专属人物形象;

FaceChain人物形象训练

facechain-finetune

FaceChain人物写真生成

facechain-generation

文字纹理生成API

wordart-texture

WordArt锦书-文字纹理生成可以对输入的文字内容或文字图片进行创意设计,根据提示词内容对文字添加材质和纹理,实现立体凸显或场景融合的效果,生成效果精美、风格多样的艺术字,结合背景可以直接作为文字海报使用。

  • 生成立体艺术字;

  • 生成文字海报;

  • 文字变形字;

文字变形API

wordart-semantic

WordArt锦书-文字变形可以对输入的文字边缘轮廓进行创意变形,根据提示词内容进行边缘变化,实现一种字体的更多种创意用法,返回带有文字内容的黑底白色蒙版图。

模型计费和免费额度信息

模型名称

模型计费

免费额度

stable-diffusion-xl

限时免费中

申请体验通过后,提供500张免费使用额度,有效期180天。

stable-diffusion-v1.5

facechain-facedetect

限时免费中

/

facechain-finetune

2.5元/次

申请体验通过后,单个账号(含子账号)对模型提供首次使用50次形象定制免费额度,有效期180天。

facechain-generation

0.18元/中

wordart-texture

0.08元/张

开通阿里云百炼服务后,单个账号(含子账号)对模型提供首次使用500张图像生成免费额度,有效期180天。

wordart-semantic

0.24元/张

基础限流

为了保证用户调用模型的公平性,默认对于普通用户设置了基础限流。如果超出限流指定的调用限制,用户的API请求将会因为限流控制而失败,用户需要等待一段时间待满足限流条件后方能再次调用。如果有超出基础限流的调用需求,可发送电子邮件至modelstudio@service.aliyun.com申请调整。

模型服务

模型名称

任务下发接口QPS限制

同时处理中任务数量

FaceChain人物图像检测

facechain-facedetect

5

同步接口无限制

FaceChain人物形象训练

facechain-finetune

2

1

FaceChain人物写真生成

facechain-generation

2

1

文字纹理生成API

wordart-texture

2

1

文字变形API

wordart-semantic

2

1

模型名称

基础限流

stable-diffusion-xl

  • 作业提交接口 ≤ 2 QPS,每秒钟处理不超过2个完整的作业提交请求;

  • 同一时间并发运行作业数:1 个作业,在同一时刻,只有1个作业实际处于运行状态,其他队列中的作业处于排队状态。

stable-diffusion-v1.5

  • 本页导读 (1)
文档反馈