配置并调用 AI 推理模型

步骤一：在 pipeline 模块中定义模型

在 YAML 作业草稿的 pipeline 模块中添加 model 列表。每个模型条目包含以下信息：

• 模型名称（model-name）

• 实现类（class-name）

• 模型提供商的连接参数

pipeline:
  model:
    - model-name: CHAT
      class-name: OpenAIChatModel
      openai.model: gpt-4o-mini
      openai.host: https://xxxx
      openai.apikey: abcd1234
      openai.chat.prompt: please summary this
    - model-name: GET_EMBEDDING
      class-name: OpenAIEmbeddingModel
      openai.model: text-embedding-3-small
      openai.host: https://xxxx
      openai.apikey: abcd1234

通用参数（所有模型必填）：

步骤二：在 transform 模块中调用模型

定义模型后，可以在 transform 模块中按名称调用。模型调用作为内置函数用于 projection（数据投影）和 filter（数据过滤）表达式。

完整配置示例

以下示例展示了如何定义两个模型，并在同一个 transform 模块中同时调用 Embedding 模型和 Chat 模型：

pipeline:
  model:
    - model-name: CHAT
      class-name: OpenAIChatModel
      openai.model: gpt-4o-mini
      openai.host: https://xxxx
      openai.apikey: abcd1234
      openai.chat.prompt: please summarize this
    - model-name: GET_EMBEDDING
      class-name: OpenAIEmbeddingModel
      openai.model: text-embedding-3-small
      openai.host: https://xxxx
      openai.apikey: abcd1234

transform:
  - source-table: db.\.*
    projection: "*, inc(inc(inc(id))) as inc_id, GET_EMBEDDING(page) as emb"
    filter: CHAT(page) = 'OK'

调用说明：

• GET_EMBEDDING(page)：将 page 列的数据传入 Embedding 模型，返回 ARRAY<FLOAT> 类型的向量，存入 emb 列发送给下游。下游表 schema 中的 emb 列类型需声明为 ARRAY<FLOAT>。

• CHAT(page)：将 page 列的数据传入 Chat 模型，根据模型返回的 STRING 类型结果进行 filter 过滤。

模型类型与输出

OpenAIChatModel 参数

OpenAIChatModel 用于调用 OpenAI 的 Chat 模型（如 GPT 系列），适用于文本生成场景。

OpenAIEmbeddingModel 参数

OpenAIEmbeddingModel 用于调用 OpenAI 的 Embedding 模型，将文本转换为向量。