本文介绍图像生产（imageenhan）类目下的图文生图GenerateImageWithTextAndImage的语法及示例。

服务说明

由于产品业务和安全合规调整，图文生图服务将于2023年06月19日起停止更新，后续不再支持新用户开通接入服务。同时，图文生图API服务计划于2023年09月30日完成服务下线，请老用户提前做好服务迁移计划。2023年06月19日之后，会继续支持老用户，老用户如果对图文生图API服务使用有疑问，可通过搜索钉钉群（23109592）加入阿里云视觉智能开放平台咨询群联系我们。

功能描述

依托达摩院自研文生图大模型，输入文本和参考图，可以基于文本描述和原图的相似度生成目标图，使得生成的图片更可控。

说明 阿里云视觉智能开放平台视觉AI能力API接入、接口使用或问题咨询等，请通过钉钉群（23109592）加入阿里云视觉智能开放平台咨询群联系我们。

应用场景

  • 图片设计：根据原图和参考图及其相似度参数，帮助设计师基于参考图快速可控的输出符合预期的图片。
  • 内容创作：在较为广泛的电商主图、人物、背景、封面、动漫、游戏等创意内容的创作过程中，通过文字和相似度对参考图进行二次生成。

特色优势

  • 效果可控：生成效果可以通过prompt和参考图、相似度进行调节，使得生成效果更符合预期。
  • 生成效果佳：在非现实、朋克机甲等类型的图片生成效果佳。

输入限制

  • 支持的图片类型：JPEG、PNG、JPG、BMP、WEBP、GIF。
  • 图片大小不超过10 MB。
  • 不限制图片分辨率。

计费说明

关于图文生图的计费方式及报价，请参见计费介绍。

调用步骤

该能力为异步能力，需分两步进行调用。

第一步调用GenerateImageWithTextAndImage接口提交任务，请求成功后，得到一个任务ID。

第二步调用GetAsyncJobResult接口查询结果，根据任务ID查询任务执行状态和结果。如果任务还在处理中，可稍等一段时间后再进行查询。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 示例值 描述
Action String 是 GenerateImageWithTextAndImage

系统规定参数。取值：GenerateImageWithTextAndImage。
Text String 是 大雪中的雪人精灵，4K，摄影

文本内容。支持中英文，中文不超过75个字，英文不超过75个字母，超过部分会自动截断。

建议文本内容尽可能详细准确，详细的文本描述内容有助于获得更佳的图片生成效果。
Resolution String 否 1024*1024

生成的图像分辨率。支持512*512、1024*1024、1024*768、768*1024、720*1280、1280*720像素，默认1024*1024像素。
Number Integer 否 1

图片生成数量。支持1~4张，默认1张。
RefImageUrl String 是 https://viapi-test.oss-cn-shanghai.aliyuncs.com/viapi-3.0domepic/imageenhan/GenerateImageWithTextAndImage/GenerateImageWithTextAndImage11.jpg

参考图地址。参考图分辨率请尽量和需要生成的图像分辨率接近，生成过程会先按照参数AspectRatioMode设定的模式，将参考图缩放裁剪到resolution参数指定的分辨率，再参考缩放裁剪后的图片进行图像生成，供用户参考。

推荐使用上海地域的OSS链接，对于文件在本地或者非上海地域OSS链接的情况，请参见文件URL处理。
Similarity Float 否 0.2

参考程度。值在0～1之间，默认值为0.2。

  • 0：完全不参考参考图，只基于文本生成图像。
  • 1：完全复制参考图。
AspectRatioMode String 否 center_crop

图像缩放裁剪模式。包括center_crop和resize，默认为center_crop。

  • center_crop：最大限度保留图像中心部分，将边缘进行裁剪。
  • resize：将图像拉伸到最终分辨率。

返回数据

名称 类型 示例值 描述
RequestId String 141fb6d1-28e8-4d93-8165-d966f7092e6a

请求ID。
Data Object

返回的结果数据内容。该数据需要在异步任务执行成功后，通过调用GetAsyncJobResult接口，对其Result字段进行JSON反序列化之后得到。
ImageUrls Array of String http://vibktprfx-prod-prod-gen-model-cn-shanghai.oss-cn-shanghai.aliyuncs.com/text2image/cv_diffusion_text-to-image-synthesis_results/images/8df0b0588fe011ed9f3dde652e7536a6_1.jpg?Expires=1673244813&OSSAccessKeyId=LTAI4FoLmvQ9urWXgSRp****&Signature=6cjXWuOYMpBLD8V1%2BJOq8zvSBb****

输出图像的URL。

说明 该URL地址为临时地址，有效期为30分钟，过期后将无法访问。若需要长时间或者永久保存文件，请在30分钟内访问URL地址，下载文件转存到自己的OSS或者其他存储空间。
Message String 该调用为异步调用，任务已提交成功，请以requestId的值作为jobId参数调用同类目下GetAsyncJobResult接口查询任务执行状态和结果。

提交异步任务后的提示信息。

查询结果

该接口为异步接口，当前并未返回真实的请求结果，您需要通过返回的RequestId调用GetAsyncJobResult接口来获取该接口的真实请求结果。详情请参见GetAsyncJobResult。

SDK参考

阿里云视觉AI图像生产类目下的图文生图能力推荐使用SDK调用，支持多种编程语言，调用时请选择AI类目为图像生产（imageenhan）的SDK包，文件参数通过SDK调用可支持本地文件及任意URL，具体可参见SDK总览。

示例

请求示例

http(s)://imageenhan.cn-shanghai.aliyuncs.com/?Action=GenerateImageWithTextAndImage      //更多关于访问域名（Endpoint）信息，请参见：https://help.aliyun.com/document_detail/143103.html
&Text=大雪中的雪人精灵，4K，摄影
&Resolution=1024*1024
&Number=1
&RefImageUrl=https://viapi-test.oss-cn-shanghai.aliyuncs.com/viapi-3.0domepic/imageenhan/GenerateImageWithTextAndImage/GenerateImageWithTextAndImage11.jpg
&Similarity=0.2
&AspectRatioMode=center_crop
&公共请求参数

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<GenerateImageWithTextAndImageResponse>
    <RequestId>141fb6d1-28e8-4d93-8165-d966f7092e6a</RequestId>
    <Message>该调用为异步调用，任务已提交成功，请以requestId的值作为jobId参数调用同类目下GetAsyncJobResult接口查询任务执行状态和结果。</Message>
</GenerateImageWithTextAndImageResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "RequestId" : "141fb6d1-28e8-4d93-8165-d966f7092e6a",
  "Message" : "该调用为异步调用，任务已提交成功，请以requestId的值作为jobId参数调用同类目下GetAsyncJobResult接口查询任务执行状态和结果。"
}

返回示例补充说明

//查询结果：请求示例
http(s)://imageenhan.cn-shanghai.aliyuncs.com/?Action=GetAsyncJobResult
&JobId=E75FE679-0303-4DD1-8252-1143B4FA8A27
&<公共请求参数>

//查询结果：返回示例
{
  "RequestId" : "43A0AEB6-45F4-4138-8E89-E1A5D63200E3",
  "Data" : {
    "Status" : "PROCESS_SUCCESS",
    "JobId" : "186AC396-0EEC-46F1-AAA1-BF3585227427",
    "Result" : "{\"ImageUrls\":[\"http://vibktprfx-prod-prod-gen-model-cn-shanghai.oss-cn-shanghai.aliyuncs.com/text2image/cv_diffusion_text-to-image-synthesis_results/images/8df0b0588fe011ed9f3dde652e7536a6_1.jpg?Expires=1673244813&OSSAccessKeyId=LTAI4FoLmvQ9urWXgSRp****&Signature=6cjXWuOYMpBLD8V1%2BJOq8zvSBb****\"]}"
  }
}

//Result反序列化
{
  "ImageUrls" : ["http://vibktprfx-prod-prod-gen-model-cn-shanghai.oss-cn-shanghai.aliyuncs.com/text2image/cv_diffusion_text-to-image-synthesis_results/images/8df0b0588fe011ed9f3dde652e7536a6_1.jpg?Expires=1673244813&OSSAccessKeyId=LTAI4FoLmvQ9urWXgSRp****&Signature=6cjXWuOYMpBLD8V1%2BJOq8zvSBb****"]
}

错误码

关于图文生图的错误码，详情请参见常见错误码。

版权说明

  • ⽣成图⽚归属于谁？

    我们为您提供的是图⽚⽣成技术服务，在您购买产品并⽀付调⽤API技术服务费后，⽣成图⽚的著作

    权将永久归您所有。您可⽤于商业⽤途，并⾃⾏负责⽣成图⽚的使⽤⻛险及合规问题，我们对此不承

    担任何法律责任。

  • 图⽚是如何⽣成的？

    图⽚与您输⼊的内容有关，并通过深度合成算法⾃动⽣成，本服务算法是根据开源数据集及互联⽹的

    公开信息积累训练⽽成。因此，我们对⽣成图⽚的准确性、完整性和功能性不做任何保证，亦不承担

    任何法律责任。

  • 图⽚引发不适该怎么办？

    本服务⽣成的所有内容均由AI模型⾃动⽣成，我们在训练过程中已通过将训练数据持续过滤来提升

    内容理解和⽣成的准确性，但仍不排除其中有部分信息存在⼀定的敏感性、不合理或导致理解歧义的

    问题存在，可能会引发您的不适。

    您可以通过钉钉群（23109592）联系我们，我们将及时联系您并采取合理有效的处理措施。

安全声明

  • 请确保上传的图片或文件来源符合相应的法律法规。
  • 通过体验调试上传的临时文件有效期为1小时，在24小时后会被系统自动清理删除。