AI 助理
备案控制台
官方文档
输入文档关键字查找
首页

SD Controlnet插件-线稿生成&高清修复

更新时间：
我的收藏

通过提示词和模型，快速生成自然景观插画作品！（1）在这里，每个瞬间都能变成灵感，每个灵感都能成为你的艺术作品！（2） 只需点击生成，不管是静物、风景又或是你的独特的艺术视角，统统都能变成一场艺术盛宴！（3）快来加入我们的创作旅程，和小伙伴们分享你的艺术灵感，一起打破常规，创造永恒！#paiartlab #万物皆可艺术 #创意无限

实验室资源方式简介

进入实操前，请确保阿里云账号满足以下条件：

  • 个人账号资源

    • 使用您个人的云资源进行操作，资源归属于个人。

    • 平台仅提供手册参考，不会对资源做任何操作。

  • 确保已完成云工开物300元代金券领取。

  • 已通过实名认证且账户余额≥0元。

  • 本实验，预计产生费用：约0.012元（以仅用SDWebUI（共享版）生成一张512*512最简单的图（393kb，1.66sec）为例估算）

如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

平台开通及授权

在开始实验之前，请先点击右侧屏幕的“进入实操”再进行后续操作

image

第一步：本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源，如未领取请先点击领取。（若已领取请跳过）

image

重要

实验产生的费用优先使用优惠券，优惠券使用完毕后需您自行承担。

学生认证

第二步：进入并开通PAI ArtLab并授权

  • 点击访问PAI ArtLab平台

  • 初次进入平台，依次点击两步，完成ArtLab平台开通与授权

    image.pngimage.png

  • 完成PAI ArtLab平台开通与授权，进入到首页

    image

实验步骤

  • 一、拉起SD共享版服务

    在工具箱页面，选择SD共享版工具（初次拉起需要一些时间请耐心等待）

    image

  • 二、选择生图模式

    先选择一个Stable Diffusion模型（模型推荐：dreamshaper_8.safetensors），再选择文生图

    image.png

  • 三、在图上标注位置输入提示词

    • 正向提示词：

      Green, Spring, Bamboo Forest, River:1.2, Flowing Water, Nature, Poetic Atmosphere, Green Theme, jade, light green, Masterpiece:1.2, Best Picture Quality, High Definition, Original, Extremely Good Wallpaper, Perfect Light, Extremely Good CG:1.2, Best Picture Quality, Magical Light Effect, super rich, super detailed, 32k, Abstract, 3D<lora:green0.5><lora:guofeng0.3><lora:shuimo0.4>

    • 反向提示词：

      lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

    image.png

    • 提示词结构：

      • 画面内容描述：

        Green, Spring, Bamboo Forest, River:1.2, Flowing Water, Nature, Poetic Atmosphere, Green Theme, jade, light green

      • 提升画面质量：

        Masterpiece:1.2, Best Picture Quality, High Definition, Original, Extremely Good Wallpaper, Perfect Light, Extremely Good CG:1.2, Best Picture Quality, Magical Light Effect, super rich, super detailed, 32k, Abstract, 3D

      调用LoRA模型 <lora:green:0.5> <lora:guofeng:0.3> <lora:shuimo:0.4>（如何调用LoRA模型，如何调整LoRA模型权重，workshop课程中已经教给大家了，不展开讲了）

  • 四、选择LORA模型

    我们已经在正向提示词中，通过规范格式调用了三个LoRA模型。同时我们可以调整模型权重（权重的大小间接影响模型赋予图像生成的风格效果）建议权重：<lora:green0.5><lora:guofeng0.3><lora:shuimo0.4>

    image.jpeg

  • 五、调整参数

    • 迭代步数：30

    • 采样方法：DPM++2M Karras

    • 宽高：512*768

    • 种子数：11806112（或者-1）

    image.png

  • 六、Controlnet

    先下载一张图片

    image.jpeg

    1. Controlnet1: Lineart （线稿）

      • 选择Controlnet第一个tab选项

      • 上传一张图片

      • 依次选择绿色框内容，lineart 处理器coarse，ca49e26d, 权重0.8

      • 调整好参数与选项后，最后再点击小爆炸按钮image.png

      image.png

    2. Controlnet2: Depth（深度）

      • 选择Controlnet第二个tab

      • 上传与上面同样的图片

      • 依次选择绿色框内容， Depth 处理器zoe，132477ea，权重0.3

      • 调整好参数与选项后，最后再点击小爆炸按钮image.png

      image.png

  • 七、点击生成

    image.png

  • 八、查看生成结果

    我们也可以生成时，适当调整提示词，选择不同采样方法，更换不同模型，来改变我们的画面效果

    image.png

  • 九、其他提示词和模型生图组合

    在不改变参数情况下，我们可以靠输入不同的提示词和调用不同的模型，来改变我们的生成结果。接下来，给大家几组提示词和模型的搭配，大家可以尝试使用不同的搭配来生成不同风格的图像。

    1. 【组合1】

      • Checkpoint：GhostMix

        image.png

      • Lora：huaniao 花鸟、Tangbohu Ink

        image.png

        image.png

      所有添加到“我的模型”的模型，需要在“我的模型”页面，点击“添加到共享版”

      image.png

      再回到共享版刷新一下对应模型的刷新按键，即可看到最新添加的模型

      • 提示词：

        • 正向提示词：

          illustration,exquisite lines,minimalism,colorful:1.5, colorful theme,Summer:1.5, Blooming Flowers:2, huaniao, ink, scenery, tree, splash, mountain, Ancient Style Oil Painting, Mountains, Chinese Architecture,no humans, outdoors,scenery, sky, grass,traditional media, sky, cloud(extremely detailed CG unity 8k wallpaper:1.1), (panorama:1.4), Masterpiece:1.2, Best Picture Quality, High Definition, Original, Extremely Good Wallpaper, Perfect Light, Extremely Good CG:1.2, Best Picture Quality, Magical Light Effect, super rich, super detailed, 32k, Abstract, <lora:chuanyugudai:0.8> <lora:inklora:0.3> <lora:huaniao:0.3>

        • 负向提示词：

          lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry, EasyNegative, (NSFW:1.2),(logo:1.2),text,(blurry:1.1),(low quality:1.1),bad anatomy,(lowres:1.1),normal quality,(monochrome:1.2),(grayscale:1.2),(worstquality:1.2),signature,bad proportions,username,water,

      • 提示词相关性：10

      • 生成效果 ：

        image.png

    2. 【组合2】

      • Checkpoint：Blazing Drive

        image.png

      • Lora：yeshousecai、chouxiangfengge、duanwujie

        image.png

        image.png

        image.png

      所有添加到“我的模型”的模型，需要在“我的模型”页面，点击“添加到共享版”

      image.png

      再回到共享版刷新一下对应模型的刷新按键，即可看到最新添加的模型

      • 提示词：

        • 正向提示词：

          flower,outdoors,sky,day,cloud,blue_sky,no_humans,cloudy_sky,grass,scenery,pink_flower, mountain,purple_flower,field,house,flower_field,mountainous_horizon,windmill, <lora:yeshousecai:0.6> <lora:chouxiangfengge-huancaizhongshichouxiang-ZSCX:0.5> <lora:duanwujie_yiqihualongzhou_v1.0:0.4>

        • 负向提示词：

          blurry, noisy, deformed, flat, low contrast, unrealistic, oversaturated, underexposed, EasyNegativeV2, nsfw

      • Seed：2405616265

      • 生成效果 ：

        image.png

    3. 【组合3】

      • Checkpoint：Blazing Drive

        image.png

      • Lora：shuimo、wuxia、tangbohu_xia

        image.jpeg

        image.png

        image.png

      • 提示词：

        • 正向提示词：

          The summer solstice of the Chinese solar term, Bright color,and in the busy spring of farming, all things in the world revive and thrive. In the sky, there is a beautiful rainbow, wood, green rice fields, many small animals, (water droplets: 1.2), green grasslands, ponds, on the ground, butterflies, ladybugs, plants, water, flowers, leaves, lakes, no one, the background is the earth,masterpiece, the best quality, wide-angle lens,<lora:shuimo:0.3> <lora:wuxia2:0.4> <lora:tangbohu_xia:0.5>

        • 负向提示词：

          EasyNegative,low quality

      • Seed：3335238013

      • 生成效果 ：

        image.png

        image.png

        image.png

        image.png

  • 十、增加细节

    1. 单修改总批次4-6，每次多生成几张

      image.png

    2. 发送至“图生图”

      • 选择一张自己满意的图，发送至“图生图”

      image.png

      • 也可以选择“png信息”，从本地上传一张之前生成的图片进来，再“发送至图生图”

        image.png

      • 发送的图会包含之前你生成这张图的所有信息

        image.png

      • 设置controlnet：Tile 处理器resample 权重0.8

        image.png

        选择放大脚本

        image.png

    3. 点击生成，查看生成效果

      image.png

清理资源

  • 如果无需继续使用工具，您可以按照以下操作步骤停止或删除工具。

    • 在PAI ArtLab控制台中，关闭Stable Diffusion（共享版）页签，EAS模型服务将会停止，不会继续收费。

      image

  • 前往PAI ArtLab控制台

  • 在页面左上方，选择模型所在地域，本实验EAS实例所在地域为华东2（上海）

  • 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

  • 在工作空间页面的左侧导航栏中单击模型在线服务（EAS）。在模型在线服务（EAS）页面，找到目标服务。单击其右侧操作列下的删除

    • image

  • 如果需要继续使用Stable Diffusion（共享版），请随时关注账号扣费情况，避免模型会因欠费而被自动停止。

场景简介

  • 通过提示词和模型，快速生成自然景观插画作品！

  • 在本实验场景中，将使用阿里云一站式 AIGC 设计平台 PAI ArtLab，云端一键启动 Stable Diffusion WebUI（共享版）工具，零代码无需部署即可体验 Stable Diffusion 文生图模型。本实验依赖两款云产品，分别是对象存储 OSS 和模型在线服务 PAI-EAS，对象存储 OSS 支持模型、图像、文本等文件的存储、预览及下载等能力。模型在线服务 PAI-EAS 支持利用云上 GPU 进行模型在线推理生图。

  • 本实验场景无需深奥的AI背景知识，只需启动生图工具，依据实验教程文档，在生图工具界面输入图像生成的提示词，即可轻松完成本实验获取AI生成图像，感受AIGC的魅力。

  • 在使用平台工具过程中，如有任何疑问和建议，您可以加入钉钉群（群号：88010006410）反馈，并获取技术支持。

背景知识

  1. 智能设计（PAI ArtLab）

    • PAI ArtLab是由阿里云人工智能平台PAI联合阿里云智能设计部共同打造的平台产品，面向设计场景，旨在为设计师提供自动化设计工具的一站式AIGC设计平台。平台打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型工具及文生图模型开箱即用。设计师无需编程功底也可利用AI技术进行批量自动化图片生产，有效降低文生图大模型的使用学习成本和技术门槛，为设计想象力和设计生产力加速。帮助您在设计、艺术、创意行业快速应用AIGC能力。

  2. PAI ArtLab平台依赖以下两款云产品：

    1. 对象存储OSS：模型、图像、文本等文件的存储、预览及下载会消耗此产品资源；

    2. 模型在线服务PAI-EAS：利用云上GPU进行模型在线推理会消耗此产品资源;

      (在您使用平台、用代金券进行资源抵扣及付费购买的过程中，会感知到以上2款阿里云产

      品。

关闭实验

  • 在完成实验后，点击 结束实操

    image

  • 点击 取消 回到实验页面，点击 确定 跳转实验评分

    image

  • 请为本次实验评分，并给出您的建议，点击 确认，结束本次实验

    image