通过Lindorm AI引擎实现文生图功能_云原生多模数据库 Lindorm(Lindorm)-阿里云帮助中心

本文以室内设计场景为例，介绍如何通过Lindorm AI引擎来实现文生图功能。

前提条件

宽表引擎为2.5.4.3及以上版本。如何查看或升级当前版本，请参见宽表引擎版本说明和升级小版本。
重要
如果您的宽表引擎为2.5.4.3以下版本且无法进行升级，请联系Lindorm技术支持（钉钉号：s0s3eg3）为您升级版本。
已开通S3协议兼容功能。如何开通，请参见开通S3协议兼容功能。
已开通Lindorm AI引擎。如何开通，请参见开通指南。

模型概述

本文使用ModelScope平台上的中文Stable Diffusion模型，通过Lindorm AI引擎搭建生成式人工智能AIGC业务，实现文本描述生成设计图的功能。

Stable Diffusion模型是一种AI文生图的扩散模型，能够根据给定的文本生成逼真的图像。

重要

阿里云不对第三方模型“Stable Diffusion模型”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。
您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

操作步骤

连接宽表引擎。以通过Lindorm-cli连接为例，如何连接请参见通过Lindorm-cli连接并使用宽表引擎。

创建表，用于存储室内设计的描述文本。

CREATE TABLE `design_desc` (
`design_desc_id` INTEGER,
`design_desc` VARCHAR,
PRIMARY KEY(`design_desc_id`)
);

将用于生成图片的文本插入到表中。

INSERT INTO `design_desc` (
       `design_desc_id`,
      `design_desc`
     ) VALUES (
       1, '新中式风格的家居设计，在传统中式风格的基础上，融入了现代时尚的设计理念，打造出一个充满禅意的中式风格卧室空间。'
     ), (
       2,  '室内设计，开放式，厨房和起居室，模块化家具与棉织品，木地板，高天花板，大钢窗，可以看到一个城市。'
     ), (
       3, '高分辨率摄影室内设计，梦幻般的下沉式客厅，木地板，通向花园的小窗户，包豪斯家具和装饰，高天花板，米色蓝色鲑鱼粉色调，室内设计杂志，舒适的气氛'
 );

（可选）查看已插入的数据。

SELECT * FROM design_desc;

返回结果：

+----------------+------------------------------------------------------------------------------------------------------------------------------------------------+
| design_desc_id |                                                                  design_desc                                                                   |
+----------------+------------------------------------------------------------------------------------------------------------------------------------------------+
| 1              | 新中式风格的家居设计，在传统中式风格的基础上，融入了现代时尚的设计理念，打造出一个充满禅意的中式风格卧室空间。                                 |
| 2              | 室内设计，开放式，厨房和起居室，模块化家具与棉织品，木地板，高天花板，大钢窗，可以看到一个城市。                                               |
| 3              | 高分辨率摄影室内设计，梦幻般的下沉式客厅，木地板，通向花园的小窗户，包豪斯家具和装饰，高天花板，米色蓝色鲑鱼粉色调，室内设计杂志，舒适的气氛   |
+----------------+------------------------------------------------------------------------------------------------------------------------------------------------+

模型创建。

从ModelScope平台导入中文Stable Diffusion模型。

CREATE MODEL `interior_design`
    FROM 'modelscope://damo/multi-modal_chinese_stable_diffusion_v1.0'
    TASK TEXT_TO_IMAGE
    ALGORITHM CHINESE_STABLE_DIFFUSION;

查看模型是否创建成功。

SHOW MODEL interior_design;

返回结果：

+------------------+--------+--------------+---------------+--------------------------+-------+---------------+------------------------------------------------------------------------------------+---------+-------+-------------------------------+-------------------------------+
|       name       | status | sql_function |   task_type   |        algorithm         | query | preprocessors |                                      settings                                      | metrics | error |         created_time          |          update_time          |
+------------------+--------+--------------+---------------+--------------------------+-------+---------------+------------------------------------------------------------------------------------+---------+-------+-------------------------------+-------------------------------+
| interior_design  | READY  | ai_infer     | TEXT_TO_IMAGE | CHINESE_STABLE_DIFFUSION |       | []            | {origin_infer_engine_model_name=damo_multi-modal_chinese_stable_diffusion_v1.0_py, | {}      | null  | 2023-06-19T19:34:56.147+08:00 | 2023-06-19T19:34:58.733+08:00 |
|                  |        |              |               |                          |       |               | repo_id=damo/multi-modal_chinese_stable_diffusion_v1.0, repo_name=modelscope,      |         |       |                               |                               |
|                  |        |              |               |                          |       |               | infer_engine_model_name=damo_multi-modal_chinese_stable_diffusion_v1.0_py}         |         |       |                               |                               |
+------------------+--------+--------------+---------------+--------------------------+-------+---------------+------------------------------------------------------------------------------------+---------+-------+-------------------------------+-------------------------------+

返回值说明请参见模型管理。

模型推理。

待status变为READY后，调用推理函数AI_INFER对已导入的模型进行推理。Lindorm会利用已导入的模型，将文本生成图片并自动保存为BLOB数据类型，返回图片的下载链接。

SELECT `design_desc`, ai_infer('interior_design', `design_desc`) AS 'design_image' FROM design_desc;

相关参数及函数说明，请参见模型推理。

返回结果：

+------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------+
|                                                                  design_desc                                                                   |                                                                   design_image                                                                    |
+------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| 新中式风格的家居设计，在传统中式风格的基础上，融入了现代时尚的设计理念，打造出一个充满禅意的中式风格卧室空间。                                  | http://ld-bp1lnkv8p5k46****-proxy-blob.lindorm.rds.aliyuncs.com:9053/default-ai-infer/sd_37406c98-ca6d-43bc-82a3-05d158b68b6e_1687174545097.jpg   |
| 室内设计，开放式，厨房和起居室，模块化家具与棉织品，木地板，高天花板，大钢窗，可以看到一个城市。                                                | http://ld-bp1lnkv8p5k46****-proxy-blob.lindorm.rds.aliyuncs.com:9053/default-ai-infer/sd_56f28cdd-f67a-4d50-b211-b88e14dd762b_1687174561087.jpg   |
| 高分辨率摄影室内设计，梦幻般的下沉式客厅，木地板，通向花园的小窗户，包豪斯家具和装饰，高天花板，米色蓝色鲑鱼粉色调，室内设计杂志，舒适的气氛    | http://ld-bp1lnkv8p5k46****-proxy-blob.lindorm.rds.aliyuncs.com:9053/default-ai-infer/sd_8ad25d66-2aa5-470b-8bbd-e1448e94ab5b_1687174567028.jpg   |
+------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------+

三段描述对应的生成效果如下图所示：