PAI ArtLab 模型使用说明

本文为您介绍Checkpoint(ckpt)、HypernetworkLoRA等模型,以及如何使用模型广场。

点击登录PAI ArtLab控制台

前提条件

已完成PAI ArtLab 开通与认证授权

使用模型广场的模型

  • SD WebUI/ComfyUI/Kohya专享版

    1. 登录PAI ArtLab控制台,在左侧导航栏单击模型,在模型广场页签,单击image将目标模型添加至我的模型

      image

    2. 待模型传输完后,在我的模型页签可查看该模型。

  • SD WebUI共享版

    1. 登录PAI ArtLab控制台,在左侧导航栏单击模型,在我的模型页签,单击image将目标模型添加到SD共享版。

      image

    2. 待模型传输完后,刷新模型区域,即可找到该模型。

上传本地模型到PAI ArtLab平台

  • 支持自定义上传模型或安装节点:SD WebUI共享版工具、SD WebUI/ComfyUI/Kohya专享版工具

  • 不支持自定义上传模型或安装节点:ComfyUI共享版工具

模型文件小于5 GB

  1. 登录PAI ArtLab控制台,在左侧导航栏单击模型,在我的模型页签,单击上传,完成相关配置后,单击确定

    image

  2. 待模型传输完后,刷新模型区域,即可找到该模型。

模型文件大于5 GB

  1. 获取Accesskey IDAccesskey Secret

  2. 安装ossbrowser

  3. 登录PAI ArtLab控制台,记录工作空间ID、账号ID和储存路径。

    image

  4. 上传模型文件。

    1. 进入OSS Browser,通过搜索储存路径,找到对应Bucket。

      image

    2. 进入Bucket,通过搜索工作空间ID,找到对应文件路径。

      image

    3. 进入该文件路径,通过搜索账号ID,找到该ID对应的上传模型的路径,并上传目标模型、安装的节点文件。

      CmofyUI专享版工具、节点文件放在custom_nodes文件夹里,StableDiffusion/Kohya/Comfy UI专享版工具、模型文件放在models对应的Stable Diffusion(checkpoint)、lora等文件夹里。

  5. 关闭工具Tab页签后,重启工具后生效。

附录:模型类型说明

Checkpoint(ckpt)

Checkpoint是基础模型或主模型,包括官方的1.5版本和2.1版本,以及用户自定义的特色风格模型。这些模型已完成预训练,可直接用于生成图片。若需个性化调整,可借助其他模型进行微调。

image

Checkpoint模型效果展示:

  • 正向prompt:best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-shaped pupils,china hanfu,hair ornament,necklace, jewelry,Beautiful face,upon_body, tyndall effect,photorealistic, dark studio, rim lighting, two tone lighting,(high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh

  • 负向prompt:(((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet

  • prompt来源:civitai

  • 效果展示

    image.png

Hypernetwork

Hypernetwork模型需与主模型搭配使用,常用于画风转换和角色生成,但在精细效果上表现一般。

Hypernetwork模型使用方式:

选择模型后,prompt区域会自动生成tag,可通过调整权重影响出图效果。

image

Embedding

Embedding模型(又称Textual Inversion模型)需与主模型搭配使用。它可以生成指定角色的特征和风格,体积小,节省空间,但信息量较少,画面和风格还原度不高,使用频率较低。

Embedding模型使用方式:

选择模型后,对应prompt区域会自动生成tag。

image

Embedding模型效果展示:

  • 正向prompt:best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-shaped pupils,china hanfu,hair ornament,necklace, jewelry,Beautiful face,upon_body, tyndall effect,photorealistic, dark studio, rim lighting, two tone lighting,(high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh

  • 负向prompt:(((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet

  • prompt来源:civitai

  • 效果对比(左侧为原图,右侧为模型处理后图片):

    image

LoRA

LoRA模型需要搭配主模型使用,无法单独生成图片,LoRA模型是在主模型的基础上训练出来的,所以与搭配的主模型使用效果会更好。在civitai上分享的预训练LoRA模型,作者通常会注明指出该模型是基于哪个主模型进行训练的,用户可以选择对应的主模型与其配合使用,提升生成效果。

LoRA模型使用方式:

单击LoRA模型,即可在prompt中生成权重为1tag。权重可进行调整(0~1),推荐值为0.8,可根据实际情况调整,值越大越接近LoRA模型。

LoRA模型效果展示:

  • 原模型

    image

  • LoRA模型

    image.png

    • 正向prompt: best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-shaped pupils,china hanfu,hair ornament,necklace, jewelry,Beautiful face,upon_body, tyndall effect,photorealistic, dark studio, rim lighting, two tone lighting,(high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh

    • 负向prompt:(((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet

    • prompt来源:civitai

    • 随机数种子设置为3,其他参数保持默认,调整LoRA权重,依次查看生成效果。image.png

VAE

VAE模型与主模型搭配使用,主要用于调整图片的色彩和滤镜。大部分主模型已内置VAE,无需单独下载,可根据需求选择不同风格的VAE模型。

image

VAE模型效果展示:

  • 正向prompt: best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-shaped pupils,china hanfu,hair ornament, jewelry,Beautiful face,tyndall effect,photorealistic, dark studio, rim lighting,high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh

  • 负向prompt:(((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet

  • prompt来源:civitai

  • 随机数种子:为55555,其他参数保持默认。

  • 效果图(左侧为原图,右侧为模型处理后图片):

    image

模型广场说明

模型来源

模型广场展示的模型、图片素材等均由第三方提供,您需阅读模型详情并同意遵守第三方提出的各项要求,才可正式开启使用。PAI ArtLab不对其导致您的不良结果或潜在风险承担任何责任。

目前优质热门开源模型大部分来自Civitai开源模型社区,由于访问限制,中国内地用户不方便访问社区以及下载模型。PAI ArtLab旨在为用户提供一个便捷的访问及下载的途径。我们诚邀在开源社群高热度高质量的模型入驻PAI ArtLab,通过正式沟通并获得模型创作者授权后,上架到模型广场。简化用户的下载流程,促进模型的广泛应用与创意交流,同时也希望更多的设计行业与设计师可以通过平台,了解并运用更多优质模型。

模型费用

重要

PAI ArtLab不对模型本身进行商用,不会对模型以及用模型生成的图收费。

收费项只针对存储、下载与启动文生图与模型训练,费用详情请参见PAI ArtLab计费说明

模型创作者的权益和保障

  • PAI ArtLab对您遵守的承诺:

    • 在入驻的模型详情中展示开源模型的作者署名、模型名称、模型来源与开源协议。

    • 对于您的模型及其生成内容,在PAI ArtLab上不对用户收取任何费用。

  • 您需要对PAI ArtLab遵守的承诺:

    • 您赋予ArtLab全球性、非独占性、可撤销、免费的授权,用于托管、存储、传输、公示、展示、交流、复制、修改和派生创作,支持多层再授权,适用所有媒介形式与渠道。

    • 您需保证模型的合法合规性,并确保在PAI ArtLab的上述使用行为不侵犯任何第三方权益。

  • 合作机遇拓展:

    • 借助阿里云平台,向B端领域展示模型优势,促进模型创作者与企业间合作。

    • 模型上线后,平台将通过推广活动显著提升模型曝光率与用户认知。

    • 计划推出模型生态合作项目,为创作者开拓更多合作机遇。

  • 知识产权尊重声明:

    PAI ArtLab充分尊重原作者的知识产权,引入模型旨在构建学习与交流的平台。若您对展示内容持有异议,作为版权方或权利人,请通过PAI-ArtLab@alibabacloud.com联系我们。