本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。
FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低三张照片即可获得独属于自己的个人形象数字替身。本文介绍如何创建并使用服务实例。
前言
都3202年了,再不拥有一套属于自己的个人数字形象就真的赶不上时代了,如果您还不知道如何生成自己的个人数字形象,请让我来为您介绍:FaceChain——妙鸭相机的开源平替,可以用来打造个人数字形象的深度学习模型工具,仅需三张照片(划重点,仅需三张!!)即可生成属于您自己独有的个人数字形象替身,赶紧来计算巢体验吧!话不多说,先看图!
09-19更新内容
新版本支持指定风格定制
支持prompt和Negative Prompt优化
支持姿态控制
支持多人合照
当前支持的风格如下:
冬季汉服(Chinese winter hanfu) | 仙女风(Fairy style) |
校服风(School uniform) | 古风(traditional chinese style) |
婚纱风(Wedding dress) | 壮族服装风(Zhuang style) |
夜景港风(Hong Kong night style) | 欧式田野风(European fields) |
雨夜(Rainy night) | 雪山羽绒服风(Jacket in Snow Mountain) |
模特风(Model style) | 工作服(Working suit) |
机车风(Motorcycle race style) | 盔甲风(Armor) |
婚纱风-2(Wedding dress 2) | T恤衫(T-shirt) |
拍立得风(Polaroid style) | 汉服风(Hanfu) |
赛博朋克(Cybernetics punk) | 女士晚礼服(Gown) |
凤冠霞帔(Chinese traditional gorgeous suit) | — |
服务创建
形象定制
选择感兴趣的基础模型,不同的基础模型包含的风格类型不同。
步骤一:上传照片
输入当前人物名称,单击选择图片上传,为了保证质量,选择清晰的头肩照为宜。
步骤二:开始训练
在上面图片全部加载出来后,单击“开始训练”,然后就耐心等待。
直到输出信号出现“训练已经完成!”,这时候就可以愉快地进行下一步啦。
步骤三:形象定制
生成形象!
切换到“无限风格形象写真”tab,选择刚刚训练好的基础模型,找到你的人物LoRA。
接着单击选择你喜欢的风格类型。
输入想要生成的图片数量,或者也可以在高级选项中进行各种高级操作~包括prompt优化,参数调整等。
等待生成完毕后,即可获取自己的数字形象啦!
固定模板生成
切换到固定模板形象写真页面,可以根据指定模板生成您的数字写真,也可以在照片中添加多个人脸信息生成合照。
生成原理
AI生成个人写真的能力来源于Stable Diffusion模型的文生图功能,即输入一段文本或一系列提示词,输出对应的图像。而影响个人写真生成效果的因素主要有两方面:写真风格信息和用户人物信息。
训练阶段
训练阶段的输入是用户上传的包含清晰人脸区域的图像,输出是人脸LoRA模型。具体来说,首先使用基于朝向判断的图像旋转模型,以及基于人脸检测和关键点模型的人脸精细化旋转方法,来处理用户上传图像,得到包含正向人脸的图像;接下来使用人体解析模型和人像美肤模型,以获得高质量的人脸训练图像;随后,该项目使用人脸属性模型和文本标注模型,结合标签后处理方法,产生训练图像的精细化标签;最后使用上述图像和标签数据微调Stable Diffusion模型得到人脸LoRA模型。
推理阶段
推理阶段的输入是训练阶段用户上传图像和预设的用于生成个人写真的输入prompt,输出是个人写真图像。在推理阶段,该项目首先将人脸LoRA模型和风格LoRA模型的权重融合到Stable Diffusion模型中;接下来使用Stable Diffusion模型的文生图功能,基于预设的prompt初步生成个人写真图像;随后,该项目使用人脸融合模型进一步改善上述写真图像的人脸细节,其中用于融合的模板人脸通过人脸质量评估模型在训练图像中进行挑选;最后再使用人脸识别模型计算生成的写真图像与模板人脸的相似度,以此对写真图像进行排序,并输出排名靠前的个人写真图像作为最终输出结果。
总结
简单几步,即可在计算巢中生成一套属于自己的数字形象,如此简单、便捷的方案,快来计算巢一探究竟吧!
参考
FaceChain项目:https://github.com/modelscope/facechain