角色设计-AI形象创作

实验室资源方式简介

进入实操前，请确保阿里云账号满足以下条件：

• 个人账号资源

  • 使用您个人的云资源进行操作，资源归属于个人。

  • 平台仅提供手册参考，不会对资源做任何操作。

• 确保已完成云工开物300元代金券领取。

• 已通过实名认证且账户余额≥0元。

• 本实验，预计产生费用：约0.012元（以仅用SDWebUI（共享版）生成一张512*512最简单的图（393kb，1.66sec）为例估算）

如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

平台开通及授权

在开始实验之前，请先点击右侧屏幕的“进入实操”再进行后续操作

第一步：本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源，如未领取请先点击领取。（若已领取请跳过）

第二步：进入并开通PAI ArtLab并授权

• 点击访问PAI ArtLab平台

• 初次进入平台，依次点击两步，完成PAI ArtLab平台开通与授权

  

• 完成PAI ArtLab平台开通与授权，进入到首页

  

实验一：Q版形象生成

• 一、拉起SD共享版服务

  在工具箱页面，选择SD共享版工具（初次拉起需要一些时间请耐心等待）

  

• 二、选择图生图模式

  先选择一个Stable Diffusion模型，可在下方模型选项中选择，也可在上方Stable Diffusion模型中选择。

  本次实验模型推荐：IPDesign3D | ，再选择文生图

  

• 三、在图上标注位置输入提示词

  • 正向提示词（ip形象描述）：

    可直接复制：cute,child,full body, white background,(masterpiece:1.2), best quality, highres,extremely detailed CG,perfect lighting,8k wallpaper,

  • 反向提示词：

    可直接复制：((blurred)), ((disorderly)), ((bad art)), ((morbid)), ((Luminous)), out of frame, not clear, overexposure, lens flare, bokeh, jpeg artifacts, glowing light, (low quality:2.0),((black color)), shadowlowers, bad anatomy, ((bad hands)), (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, text, error

  

• 四、选择迭代步数和图片尺寸

  1. 迭代部署：根据选择的大模型而定，下图为通过xyz测试得出的该模型合适的步数为22，采样方法DPM++ 2M或者Euler a（后续实验以Euler a为例展开）有着不同的风格，如果选择其他的模型请根据模型简介提示或者使用xyz测试进行步数测试

     

  2. 图片尺寸：采用512*768，生图后可通过高清修复进行尺寸扩展。

  3. 打开高清修复，放大算法选择Latent，高分迭代步数11（是迭代步数的一半最佳），重绘幅度0.4

  4. 填写准备好的白底黑边线稿的图片尺寸，尺寸如果大于1024，需要等比缩小填写

  5. 填写提示词引导系数（见第三步的提示词内容）

     

• 五、图片生成

  在确认完上述内容后，可通过改变单次数量增加生图的数量。

  点击生成

  

• 六、效果展示

  提示词：

  • 形象描述（动物＋女孩ip）：cabbit, ((child)),long hair, solo, dress, star hair ornament, star \(symbol\), bangs, gradient hair, artist name, gradient, smile, closed mouth, 加上固定关键词，详情见第三步的提示词内容

    

    

  • 形象描述（动漫ip）：cute,child,Pixar style,MG IP,1 girl,long hair,solo,Hatsune Miku,twintails,smile,ahoge,looking at viewer,very long aqua hair,aqua eyes,black jacket,sleeveless，加上固定关键词，详情见第三步的提示词内容（头两张加上关键词：hand on face,squatting,）

    

  • 形象描述（可爱动物ip）：Enhance art style,Peacock,Illustration cartoon cute art style,cute pet,cute,HD,No logo icon text,Gentle art style,((masterpiece)),original,rich details,extremely exquisite，加上固定关键词以及描述词，下图分别加上关键词dog，Peacock,详情见第三步的提示词内容（去掉第三步的提示词内容中的第二个关键词child）

    

实验二：特定动漫/二次元角色形象生成

• 一、拉起SD共享版服务

  在工具箱页面，选择SD共享版工具（初次拉起需要一些时间请耐心等待）

  

• 二、选择图生图模式

  先选择一个Stable Diffusion模型，模型推荐：AWPainting|，再选择文生图

  

• 三、模型说明

  Q版动漫形象是在关键词描述正确的基础上加入Lora模型使得其更符合原作本身。

  

  • 本次实验大模型：万象熔炉|Anything V5/Ink（大模型）、Lora模型：Rem (Re:Zero)

  • 说明

    该lora模型仅仅适用于这一个动漫角色生成，如需定向生成其他动漫角色，请于网络自行搜索

    如果需要生成该动漫角色，需要复制以下触发词：

    • 正向关键词：

      ((cute little people)),((lovely girl)),moe,highres,((Dress conservatively)),sharp focus,sleeve-off,((intricate details)),[highly detailed],1girl,blue hair,short hair,maid uniform,maid headdress,upper_body,

    • 反向关键词：

      duplicated, disfugured, deformed, poorly drawn, low quality eyes, border, comic, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, (worst quality, low quality:1.4), interlocked fingers, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, pixels, nsfw, sexy,

• 四、在图上标注位置输入提示词

  • 正向提示词（动漫形象描述）：

    可直接复制：(masterpiece:1.2), best quality, highres,extremely detailed CG,perfect lighting,8k wallpaper

  • 反向提示词：

    可直接复制：((blurred)), ((disorderly)), ((bad art)), ((morbid)), ((Luminous)), out of frame, not clear, overexposure, lens flare, bokeh, jpeg artifacts, glowing light, (low quality:2.0),((black color)), shadowlowers, bad anatomy, ((bad hands)), (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, text, error

  

• 五、返回Stable Diffusion，选择Lora模型

  1. 点击Lora

  2. 选择Lora模型：Rem (Re:Zero) ，和角色定向模型：CJ_儿童绘本卡通插画

  3. 在正向提示中会出现相对应的lora模型关键词以及权重，及 <lora:Rem_RE Zero:1>、<lora:CJ儿童绘本卡通插画 :1>

  4. 输入触发模型关键词：chibi

• 六、参数选择

  1. 迭代部署：根据选择的大模型和Lora模型而定，下图为通过xyz测试得出的该模型Euler a为简约q版形象、DPM++2M采样下内容更详细。其采样迭代步数推荐分别为：26、22

     

  2. 打开高清修复，放大算法选择4x-UltraSharp，高分迭代步数11-13（是迭代步数的一半），重绘幅度0.4

  3. 填写准备好的白底黑边线稿的图片尺寸，尺寸如果大于1024，需要等比缩小填写

  4. 填写提示词引导系数（见第四步的提示词内容）

     

• 七、图片生成

  在确认完上述内容后，可通过改变单次数量增加生图的数量。

  点击生成

  

• 八、效果展示

  以下效果均用上述模型配合其他模型使用产出

  

实验三：线稿上色

• 一、准备线稿

  准备线稿图片，以下线稿为AI生成

  

  

• 二、拉起SD共享版服务

  在工具箱页面，选择SD共享版工具（初次拉起需要一些时间请耐心等待）

  

• 三、选择图生图模式

  先选择一个Stable Diffusion模型

  模型推荐：AWPainting 在线稿生成当中大模型和Lora模型没有限定，根据自身需求去选择，生成的图片会根据模型选择风格而定，再选择图生图

  

• 四、在图上标注位置输入提示词

  • 正向提示词（风格上色描述）：

    可直接复制：(masterpiece:1.2), best quality, highres,extremely detailed CG,perfect lighting,8k wallpaper

  • 反向提示词：

    可直接复制：((blurred)), ((disorderly)), ((bad art)), ((morbid)), ((Luminous)), out of frame, not clear, overexposure, lens flare, bokeh, jpeg artifacts, glowing light, (low quality:2.0),((black color)), shadowlowers, bad anatomy, ((bad hands)), (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, text, error

  

• 五、返回Stable Diffusion，选择Lora模型

  1. 点击Lora

  2. 选择Lora模型：Rem (Re:Zero) ，和角色定向模型

  3. 在正向提示中会出现相对应的lora模型关键词以及权重，及 <lora模型:1>

  

• 六、参数选择

  1. 迭代部署：20，根据选择的大模型和Lora模型而定，如果选择其他的模型请根据模型简介提示或者使用xyz测试进行步数测试

  2. 打开高清修复，放大算法选择4x-UltraSharp，高分迭代步数10（是迭代步数的一半），重绘幅度0.4

  3. 填写准备好的白底黑边线稿的图片尺寸，尺寸如果大于1024，需要等比缩小填写

  4. 填写提示词引导系数（见第四步的提示词内容）

     

• 七、打开启用ControlNet

  1. 勾选启用、完美像素模式、允许预览

  2. 上传准备好的白底黑边线稿

  3. 控制类型选择Lineart（线稿）

  4. 点击爆炸图标即可预览线稿处理效果

  

• 八、图片生成

  在确认完上述内容后，可通过改变单次数量增加生图的数量。

  点击生成

  

• 九、生成效果

  

清理资源

• 如果无需继续使用工具，您可以按照以下操作步骤停止或删除工具。

  • 在PAI ArtLab控制台中，关闭Stable Diffusion（共享版）页签，EAS模型服务将会停止，不会继续收费。

    

• 前往PAI ArtLab控制台

• 在页面左上方，选择模型所在地域，本实验EAS实例所在地域为华东2（上海）

• 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

• 在工作空间页面的左侧导航栏中单击模型在线服务（EAS）。在模型在线服务（EAS）页面，找到目标服务。单击其右侧操作列下的删除

  • 

• 如果需要继续使用Stable Diffusion（共享版），请随时关注账号扣费情况，避免模型会因欠费而被自动停止。

场景简介

• 在本实验中，我们可以学习：利用阿里云云端部署的 Stable Diffusion WebUI产出Q版IP动漫角色形象、Q版角色转线稿、线稿上色等知识内容

• 在本实验场景中，将使用阿里云一站式 AIGC 设计平台 PAI ArtLab，云端一键启动 Stable Diffusion WebUI（共享版）工具，零代码无需部署即可体验 Stable Diffusion 文生图模型。本实验依赖两款云产品，分别是对象存储 OSS 和模型在线服务 PAI-EAS，对象存储 OSS 支持模型、图像、文本等文件的存储、预览及下载等能力。模型在线服务 PAI-EAS 支持利用云上 GPU 进行模型在线推理生图。

• 本实验场景无需深奥的AI背景知识，只需启动生图工具，依据实验教程文档，在生图工具界面输入图像生成的提示词，即可轻松完成本实验获取AI生成图像，感受AIGC的魅力。

• 在使用平台工具过程中，如有任何疑问和建议，您可以加入钉钉群（群号：88010006410）反馈，并获取技术支持。

背景知识

1. 智能设计（PAI ArtLab）

   • PAI ArtLab是由阿里云人工智能平台PAI联合阿里云智能设计部共同打造的平台产品，面向设计场景，旨在为设计师提供自动化设计工具的一站式AIGC设计平台。平台打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型工具及文生图模型开箱即用。设计师无需编程功底也可利用AI技术进行批量自动化图片生产，有效降低文生图大模型的使用学习成本和技术门槛，为设计想象力和设计生产力加速。帮助您在设计、艺术、创意行业快速应用AIGC能力。

2. PAI ArtLab平台依赖以下两款云产品：

   1. 对象存储OSS：模型、图像、文本等文件的存储、预览及下载会消耗此产品资源；

   2. 模型在线服务PAI-EAS：利用云上GPU进行模型在线推理会消耗此产品资源;

      (在您使用平台、用代金券进行资源抵扣及付费购买的过程中，会感知到以上2款阿里云产

      品。

关闭实验

• 在完成实验后，点击 结束实操

  

• 点击 取消 回到实验页面，点击 确定 跳转实验评分

  

• 请为本次实验评分，并给出您的建议，点击 确认，结束本次实验