AI效果图生成-仿生建筑设计&风格迁移

实验室资源方式简介

进入实操前，请确保阿里云账号满足以下条件：

• 个人账号资源

  • 使用您个人的云资源进行操作，资源归属于个人。

  • 平台仅提供手册参考，不会对资源做任何操作。

• 确保已完成云工开物300元代金券领取。

• 已通过实名认证且账户余额>100元。

• 本实验，预计产生费用：约4.6元——启动工具不计费，仅生图时，按照生图实际消耗的GPU时间计费（0.46元/分钟）

如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

平台开通及授权

在开始实验之前，请先点击右侧屏幕的“进入实操”再进行后续操作

第一步：本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源，如未领取请先点击领取。（若已领取请跳过）

第二步：进入并开通PAI ArtLab并授权

• 点击访问PAI ArtLab平台

• 初次进入平台，依次点击两步，完成PAI ArtLab平台开通与授权

  

• 完成PAI ArtLab平台开通与授权，进入到首页

  

实验一：水果建筑学

• 一、拉起SD共享版服务

  1、在工具箱页面，单击StableDiffusion（共享版）。

  

  2、在费用提示对话框中，单击确定。

  

  3、请您耐心等待服务启动，首次启动服务大约需要5~10分钟，非首次启动服务大约需要2~3分钟。

  

  4、服务启动后，点击Stable Diffusion模型，选择laowang_ARCH_MIX_V0.5.safetensors。

  

• 二、选择生图模式

  生图模式选择图生图模式。

  

• 三、上传素材

  

• 四、参数调整

  • 迭代步数：不变

  • 高度：768

  • 单批数量：2

  • 重绘幅度：0.75

  

• 五、将意向图片导入ControlNet

  1、接下来会使用3个ControlNet，上传素材

  

  2、将：启用、低显存模式、完美像素模式、Upload independent control image和允许预览全部点击。

  

  3、第一个ControlNet的控制类型选择Softedge软边缘，控制权重改为0.2

  

  4、点击预处理器和模型之间的爆炸图标可以进行效果预览。

  

  5、第二个ControlNet的控制类型选择Depth深度，控制权重更改为0.2。

  

  6、1.第三个ControlNet的控制类型选择T2I-Adapter，预处理器选择t2ia_color_Grid，控制权重改为0.4。

  

• 六、填写提示词

  接下来填写提示词，提示词分享

  • 正向提示词：

    aphotoofbuilding,building,modern,Astunninglyrealisticdigitalrendering

    ofamodernurbancommercialcomplexdesignedbyrenownedarchitectural

    firms,withmoderarchitecturalfacadescreatingasleekandsophisticated

    environment.Theuseofthree-dimensionalcorridorsaddstotheoverall

    futuristicfeelofthescene,whilerealisticlightingcreateasenseofdepth

    andvibrancy,Thestreetplantingisexquisitelydetalled,addingatouchof

    naturalbeautytotheurbanspace.Renderedinhighdefinitinqualityusing

    3Drenderingsoftware,theimageisabreathtakingpieceofurban

    design,midjourneystyle,segmentation,architecture,Highquality,modern

    architecture,,Citynightview,lights,

  • 反向提示词：

    lowres,badanatomy,badhands,text,error,missingfingers,extradigit,fewer

    digits,cropped,worstquality,lowquality,normalquality,jpegartifacts,

    signature,watermark,username,blurry,(worstquality:1.4),(lowquality:1.4),

    (monochrome:1.1),Eagetive,

• 七、使用Lora

  1、填写完后，需要用到两个Lora，点击Lora，再选择名称为 urbanbuilding 和 nightviewarchitecture 的Lora模型。

  

  2、

  重要

  注意！这里要修改Lora的权重，将括号里的数字改成自己想要的权重

  

  3、将两个Lora的权重都改为0.2。

  

• 八、点击生成

  1、提示词完成，点击生成。

  

  2、点击生成后请您耐心等待，大约需要0.5~2分钟。

  

• 九、效果生成

  最后获得水果建筑。

  

• 十、丰富细节

  如果生成的图片有些模糊，可以进行接下来的操作，会变得更加清晰细节更丰富。

  1、选中合适的图片，点击图标可以自动将图片传入图生图里。

  

  2、修改参数

  • 迭代步数：30

  • 单批数量：1

  • 重绘幅度：0.3

  

  3、启用Tiled Diffusion。

  

  4、更改参数

  • 潜空间分块宽度：8

  • 潜空间分块单批数量：1

  • 放大算法：4x-Ultrasharp

  

  5、点击噪声反转

  

  6、更改噪声反转的参数

  • 反转步数：40

  • 重铺噪声强度：0

  

  7、接下来启用Tiled VAE，无需修改参数。

  

  8、接下来还会用到一个ControlNet，上传前面满意的素材。

  

  9、更改参数

  • 控制类型：Tile分块

  • 控制权重：0.7

  

  10、点击生成

  

  11、获得最终清晰的水果建筑

  

实验二：请马蒂斯设计别墅

• 一、拉起SD共享版服务

  1、在工具箱页面，单击StableDiffusion（共享版）。

  

  2、在费用提示对话框中，单击确定。

  

  3、请您耐心等待服务启动，首次启动服务大约需要5~10分钟，非首次启动服务大约需要2~3分钟。

  

  4、服务启动后，点击Stable Diffusion模型，选择laowang_ARCH_MIX_V0.5.safetensors。

  

• 二、选择生图模式

  生图模式选择图生图模式。

  

• 三、参数调整

  • 迭代步数：30

  • 单批数量：4

  图片尺寸记得要更改到和原图尺寸大小一致，点击三角尺的图标，自动更改尺寸

  

• 四、使用ControlNet

  1、将：启用、完美像素模式、低显存模式、Upload和允许预览全部勾选。

  

  2、上传需要更改风格的素材。

  

  3、更改参数

  • 控制类型选择Softedge（软边缘）

  • 控制权重改为0.6

  

  4、第二个ControlNet。将启用、完美像素模式、低显存模式、Upload和允许预览全部勾选。

  

  5、上传需要借鉴的素材。

  

  6、更改参数

  • 控制类型选择IP-Adapter

  • 预处理器选择ip-adapter_clip_h

  • 模型选择ip-adapter_sd15_plus[caa620ac]

  • 控制权重改为0.8

  

• 五、填写提示词

  接下来填写提示词，提示词分享

  • 反向提示词：

    lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit,fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature,watermark, username, blurry,(worst quality:1.4),(low quality:1.4), (monochrome:1.1), Eagetive,

• 六、点击生成

  1、点击生成提示词完成，点击生成。

  

  2、点击生成后请您耐心等待，大约需要0.5~2分钟。

  

• 七、效果生成

  最后获得马蒂斯风格的室内。

  

清理资源

• 如果无需继续使用工具，您可以按照以下操作步骤停止或删除工具。

  • 在PAI ArtLab控制台中，关闭Stable Diffusion（共享版）页签，EAS模型服务将会停止，不会继续收费。

    

• 前往PAI ArtLab控制台

• 在页面左上方，选择模型所在地域，本实验EAS实例所在地域为华东2（上海）

• 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

• 在工作空间页面的左侧导航栏中单击模型在线服务（EAS）。在模型在线服务（EAS）页面，找到目标服务。单击其右侧操作列下的删除

  • 

• 如果需要继续使用Stable Diffusion（共享版），请随时关注账号扣费情况，避免模型会因欠费而被自动停止。

场景简介

• 解锁AI绘图的深层奥秘，探索高级控制玩法，来PAI-Artlab体验水果建筑学与请马蒂斯设计别墅的创新结合！上传你的设计概念，运用AI的高级控制功能，即刻见证水果建筑学与马蒂斯艺术的奇妙共生，无论是水果造型的别墅还是马蒂斯风格的装饰，你的每一个创意指令都能在这个平台上得到精准实现。

• 在本实验场景中，将使用阿里云一站式 AIGC 设计平台 PAI ArtLab，云端一键启动 Stable Diffusion WebUI（共享版）工具，零代码无需部署即可体验 Stable Diffusion 文生图模型。本实验依赖两款云产品，分别是对象存储 OSS 和模型在线服务 PAI-EAS，对象存储 OSS 支持模型、图像、文本等文件的存储、预览及下载等能力。模型在线服务 PAI-EAS 支持利用云上 GPU 进行模型在线推理生图。

• 本实验场景无需深奥的AI背景知识，只需启动生图工具，依据实验教程文档，在生图工具界面输入图像生成的提示词，即可轻松完成本实验获取AI生成图像，感受AIGC的魅力。

• 在使用平台工具过程中，如有任何疑问和建议，您可以加入钉钉群（群号：88010006410）反馈，并获取技术支持。

背景知识

1. 智能设计（PAI ArtLab）

   • PAI ArtLab是由阿里云人工智能平台PAI联合阿里云智能设计部共同打造的平台产品，面向设计场景，旨在为设计师提供自动化设计工具的一站式AIGC设计平台。平台打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型工具及文生图模型开箱即用。设计师无需编程功底也可利用AI技术进行批量自动化图片生产，有效降低文生图大模型的使用学习成本和技术门槛，为设计想象力和设计生产力加速。帮助您在设计、艺术、创意行业快速应用AIGC能力。

2. PAI ArtLab平台依赖以下两款云产品：

   1. 对象存储OSS：模型、图像、文本等文件的存储、预览及下载会消耗此产品资源；

   2. 模型在线服务PAI-EAS：利用云上GPU进行模型在线推理会消耗此产品资源;

      (在您使用平台、用代金券进行资源抵扣及付费购买的过程中，会感知到以上2款阿里云产

      品。

关闭实验

• 在完成实验后，点击 结束实操

  

• 点击 取消 回到实验页面，点击 确定 跳转实验评分

  

• 请为本次实验评分，并给出您的建议，点击 确认，结束本次实验