使用入门

如何实现自定义模型调用

此处以调用百炼中的主题分类模型为例，自定义实现文本主题分类功能。

定义模型输入与输出函数

1. 准备工作。

   • 了解OpenNLU开放域文本理解模型，包括请求header、输入文本格式和输出结果。

   • 获取阿里云账号的API-KEY，获取方式请参考获取API Key。

2. 定义模型输入函数。

   模型opennlu-v1 CURL调用命令中'--data'部分为：

   {
     "model": "opennlu-v1",
     "input":{
       "sentence":"国足近5年首次攻破日本队球门！",
       "task": "classification",
       "labels":"体育新闻，娱乐新闻"
     },
     "parameters": {
     }
   }

   JSON中model项、input/sentence与input/labels项为必填项，作为函数入参传入，input/task项为固定项，模型输入函数可定义为：

   -- model,sentence,labels项为输入内容，task项固定
   CREATE OR REPLACE FUNCTION my_text_classification_in(model text, content text)
       RETURNS jsonb
       LANGUAGE plpgsql
       AS $function$
       BEGIN
       RETURN ('{"model": "'|| model ||'","input":{"sentence":"'|| content ||'","task": "classification","labels":"体育新闻，时事新闻"},"parameters":{}}')::jsonb;
       END;
       $function$;

3. 定义模型输出函数。

   Curl调用输出内容示例：

   {
       "output":{
           "text":"体育新闻",
       },
       "usage":{
           "output_tokens":2,
           "input_tokens":11,
           "total_tokens":13
       },
       "request_id":"d89c06fb-46a1-47b6-acb9-bfb17f814969"
   }

   只需要获取output/text项的部分内容即可。因为输出是一个极简单的词语，且不需要做任何处理，因此模型输出函数无需定义。

创建文本主题分类模型

准备好输入函数后，调用AI_CreateModel创建模型。

-- 将"your-api-key"替换成上文准备工作中获取到的API Key即可
-- 输入函数为my_text_classification_in
SELECT polar_ai.ai_createmodel('my_text_classification_model', 'https://dashscope.aliyuncs.com/api/v1/services/nlp/nlu/understanding','Alibaba','OpenNLU开放域文本理解模型','opennlu-v1','{"author_type": "token", "token": "your-api-key"}', NULL,'my_text_classification_in'::regproc,NULL);

以SQL方式执行主题分类

根据AI_CallModel自定义模型调用函数：

-- 创建自定义模型调用函数
CREATE OR REPLACE FUNCTION my_text_classification_func(model_id text, content text)
    RETURNS text
    AS $$ select (((polar_ai.AI_CALLMODEL($1,$2)::json)->>'output')::jsonb->>'text')::text as result $$
    LANGUAGE 'sql' IMMUTABLE;

-- 执行主图分类  
SELECT my_text_classification_func('my_text_classification_model', '国足近5年首次攻破日本队球门！');

批量主题分类

对于已经在数据库内的数据，可以批量执行主题分类，详细步骤如下。

1. 准备测试数据。

   -- 创建表
   CREATE TABLE my_text_classification_tbl(id integer, content text, class text);
   
   -- 插入数据
   INSERT INTO my_text_classification_tbl VALUES(1,'国足近5年首次攻破日本队球门！'),(2,'中国智慧点亮全球治理的拉美时刻'),(3,'王楚钦复仇莫雷加德晋级四强');

2. 批量主题分类。

   UPDATE my_text_classification_tbl SET class=my_text_classification_func('my_text_classification_model', content);

   执行如下SQL语句查看分类结果。

   SELECT * FROM my_text_classification_tbl;

   返回结果如下：

    id |            content             |  class   
   ----+--------------------------------+----------
     1 | 国足近5年首次攻破日本队球门！     | 体育新闻 
     2 | 中国智慧点亮全球治理的拉美时刻    | 时事新闻 
     3 | 王楚钦复仇莫雷加德晋级四强        | 体育新闻 
   (3 rows)

如何实现批量Embedding及向量检索

此处以调用百炼中的通用文本向量为例，实现批量文本转向量功能，并针对返回结果自定义输出内容。

定义模型输入、输出函数

1. 准备工作。

   • 了解OpenNLU开放域文本理解模型，包括请求header、输入文本格式和输出结果。

   • 获取阿里云账号的API-KEY，获取方式请参考获取API Key。

2. 定义模型输入函数。

   通用文本向量模型text-embedding-v2 CURL调用命令中'--data'部分为：

   {
       "model": "text-embedding-v2",
       "input": {
           "texts": [
           "风急天高猿啸哀"
           ]
       },
       "parameters": {
           "text_type": "query"
       }
   }

   以上内容中的model项和input/texts项为必填项，作为函数入参，则模型输入函数可定义为：

   CREATE OR REPLACE FUNCTION my_text_embedding_in(model text, texts text)
       RETURNS jsonb
       LANGUAGE plpgsql
       AS $function$
       BEGIN
       RETURN ('{"model": "'|| model ||'","input":{"texts":["'|| texts ||'"]},"parameters":{"text_type": "query"}}')::jsonb;
       END;
       $function$;

3. 定义模型输出函数。

   通用文本向量模型text-embedding-v2 CURL调用输出内容为：

   {
     "usage": {
       "total_tokens": 7
     },
     "output": {
       "embeddings": {
         "embedding": [0.004930191827757042, -0.008629344325205105, 0.041976027360927766],
         "text_index": 0
       }
     },
     "request_id": "317ba0d4-6c08-9c24-8725-eebd445def51"
   }

   只需要获取output/embeddings/embedding项的向量部分内容，并保留jsonb格式，则模型输出函数可定义为：

   CREATE OR REPLACE FUNCTION my_text_embedding_out(model_id text, response_json jsonb)
       RETURNS jsonb
       AS $$ select ((((response_json->>'output')::jsonb->>'embeddings')::jsonb)->0->>'embedding')::jsonb as result $$
       LANGUAGE 'sql' IMMUTABLE;

创建自定义文本向量模型

定义模型输入输出函数后，即可通过AI_CreateModel函数在数据库中创建模型。

-- 将"your-api-key"替换成上文准备工作中获取到的API Key即可
SELECT polar_ai.ai_createmodel('my_text_embedding_model', 'https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding','Alibaba','通用文本向量模型','text-embedding-v2','{"author_type": "token", "token": "your-api-key"}', NULL,'my_text_embedding_in'::regproc,'my_text_embedding_out'::regproc);

定义Embedding函数

根据AI_CallModel自定义模型调用函数：

CREATE OR REPLACE FUNCTION my_text_embedding_func(model_id text, texts text)
    RETURNS float8[]
    AS $$ select array(select json_array_elements_text(polar_ai.AI_CALLMODEL($1,$2)::json))::float8[] as result $$
    LANGUAGE 'sql' IMMUTABLE;

批量文本转向量

对于已经在数据库内的数据，可以批量执行文本转向量并写入向量字段。详细步骤如下。

1. 创建向量插件。

   CREATE EXTENSION vector;

2. 创建向量表并插入数据。

   CREATE TABLE my_text_embedding_tbl(id int, content text, vec vector(1536));
   INSERT INTO my_text_embedding_tbl VALUES(1,'PolarDB是阿里巴巴自研的新一代云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。'),(2,'postgresql是一种开源的关系型数据库管理系统，由PostgreSQL Global Development Group开发，由Perl编写。');

3. 批量执行文本转向量并写入表。

   UPDATE my_text_embedding_tbl set vec=my_text_embedding_func('my_text_embedding_model', content);

向量检索

将文本转成向量后，可利用PGVector（向量检索）进行快速、准确地检索相似文本。

1. 创建向量索引。

   CREATE INDEX ON my_text_embedding_tbl USING hnsw (vec vector_l2_ops);

2. 根据内容进行检索。

   SELECT content FROM my_text_embedding_tbl WHERE vec <=> my_text_embedding_func('my_text_embedding_model', 'PolarDB数据库架构是怎么样的？')::vector(1536) < 0.5;

   返回结果如下：

   ----
   PolarDB是阿里巴巴自研的新一代云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。
   (1 row)