AI模型与函数管理

更新时间:
复制 MD 格式

EMR Serverless StarRocks 提供统一的 AI 模型与函数管理入口。本文按使用顺序介绍如何查看系统模型、调用 AI 函数,以及按需设置模型用量上限、配置自定义模型和查看用量监控。

前提条件

  • 已创建 EMR Serverless StarRocks 实例,且目标实例支持待使用的 AI 函数。AI Function 基础版本要求请参见AI Function;不同函数的具体能力以对应版本支持情况为准。

  • 已具备相关控制台操作权限。执行 SQL 时,还需具备相应的数据库访问和函数调用权限。

  • 使用系统模型前,已按控制台提示完成 AI Function 开通。

  • 使用自定义模型前,已准备模型服务地址、服务端模型名称及访问凭据,并确认执行 AI SQL 的实例节点能够访问该地址。

使用说明

模型类型

开始操作前,先了解两类模型的区别。

模型类型

说明

使用方式

系统模型

由平台提供,模型清单展示模型名称、来源及能力类型。

开通 AI Function 后,通过支持该模型的 AI 函数调用。支持指定模型的函数可通过 model 参数选择模型。

自定义模型

由您配置已有模型服务的调用信息,并绑定至指定实例。

保存配置并手动下发至目标实例,测试连通性后,通过相应的自定义模型函数调用。

说明

模型清单是可用模型的查看入口,不代表所有模型适用于所有 AI 函数。请根据任务类型及函数参数要求选择模型。模型可用范围以当前地域的控制台展示为准。

使用流程

建议按以下顺序使用本文的功能。

  1. 进入管理页面,在模型配置页签查看系统模型,确认可用的模型及其能力。

  2. 在AI Function 目录页签了解函数用法,并通过 SQL 调用系统模型,先跑通基础用法。

  3. 需要控制成本时,为实例设置模型用量上限。

  4. 系统模型无法满足需求时,配置自定义模型并下发至实例。

  5. 在监控页签查看 Token 消耗趋势与本月累计用量。

各项配置均与具体实例绑定:自定义模型按实例逐个配置并手动下发,用量上限按"实例+模型"设置,监控按实例或模型维度汇总。相关细节请参见对应章节。

进入 AI 模型与函数管理页面

  1. 登录 E-MapReduce 控制台,在左侧导航栏选择 EMR Serverless > StarRocks。

  2. 在顶部菜单栏选择地域,然后单击 AI 能力 页签。

  3. 选择 AI Function & 模型。该页面包含以下子页签,本文后续操作均从此页面开始。

子页签

功能

模型配置

查看系统模型、设置模型用量上限,以及配置自定义模型。

AI Function 目录

查看 AI 函数及其使用说明。

监控

按实例或模型查看 Token 消耗趋势,以及本月累计用量明细。

如果页面提示尚未开通 AI Function,单击提示条右侧的 前往开通,按照页面提示完成开通。

查看系统模型

  1. 进入 AI Function & 模型 > 模型配置 页签。

  2. 在 模型清单 区域查看系统模型信息。

字段

说明

模型名称

用于识别模型。显式指定系统模型时,应使用函数支持的模型名称。

来源

系统提供的模型显示为 系统模型。

能力类型 · 模态

模型提供的能力,例如文本生成、翻译、文本 Embedding 或多模态 Embedding。

操作

通过 设置上限 为指定实例配置该模型的用量上限。

确认目标模型后,即可结合 AI Function 目录 中的函数说明在 SQL 中调用;如需控制用量或接入自有模型,再参见后续章节。

说明

文本生成模型用于内容理解与生成,Embedding 模型用于生成向量,两者不能互相替代。进行向量相似度检索时,待检索数据与查询内容需要使用兼容的向量空间和维度。

查看和使用 AI 函数

AI Function 目录用于查看内置 AI 函数及其调用方式,不需要在目录中逐个创建或部署函数。配置自定义模型也不会新增一个 SQL 函数,而是为已有的自定义模型函数提供可引用的模型资源。

  1. 进入 AI Function & 模型 > AI Function 目录 页签。

  2. 根据业务需求查看目标函数的用途和调用说明。

  3. 确认函数支持的模型、输入参数、返回类型及实例版本要求。

  4. 在目标实例的 SQL 编辑器或已连接该实例的 SQL 客户端中执行 SQL。

常见任务与函数的对应关系如下。

任务

函数示例

文本情感分析、分类与信息抽取

ai_sentiment、ai_classify、ai_extract

文本过滤、脱敏、翻译与摘要

ai_filter、ai_redact、ai_translate、ai_summarize

按提示词进行理解与生成

ai_complete

文本及多模态向量化

ai_embed、ai_embed_multimodal

对多行文本进行汇总

ai_agg、ai_agg_summary

使用已配置的自定义文本生成模型

ai_custom_query

SQL 示例

从目录中确认函数的参数和模型要求后,即可在 SQL 中调用。以下示例分别演示显式选择文本生成模型和文本 Embedding 模型,执行前请确认对应模型在目标实例可用。

文本生成

SELECT ai_complete(
      'qwen3.6-plus',
      '请用一句话说明向量检索的用途。'
  );

返回模型生成的文本。

文本向量化

SELECT ai_embed(
      'text-embedding-v4',
      '这款商品支持七天无理由退货。'
  );

返回 ARRAY 类型的向量。

说明

model 参数是否可省略、参数位置以及可用的函数重载,以对应函数文档为准。不要将系统模型名称与自定义模型资源名称混用。批量处理前,建议先用少量数据验证结果并评估 Token 消耗。

设置模型用量上限

您可以设置自然月 Token 上限和每分钟 Token 上限,分别控制累计消耗和短时间内的调用用量。

操作步骤

  1. 在 模型配置 页签,单击 设置模型上限;也可以直接单击目标模型操作列的 设置上限。

  2. 在 设置模型用量上限 对话框中,选择需要配置的实例,并确认提示条中展示的实例名称和实例 ID,避免修改其他实例的配置。

  3. 为目标模型填写以下参数。

参数

说明

自然月上限

对应模型在所选实例中每个自然月的 Token 消耗上限,单位为 tokens/月。留空表示不限制。

每分钟上限

对应模型在所选实例中每个自然分钟的 Token 消耗上限,单位为 tokens/分钟。留空表示不限制。

  1. 单击 保存配置。

上限规则

配置前,请了解以下规则。

项目

规则

配置范围

仅对所选实例中的对应模型生效,不影响其他实例。

自然月统计

按自然月累计,每月 1 日 00:00 自动重置。

每分钟统计

按自然分钟统计。该参数限制的是 Token 数,不是请求数,也不是单次请求的 Token 数。

超出自然月上限

对应实例中该模型的 AI Function 调用暂停,直至下一个自然月。

超出每分钟上限

超出上限的请求返回错误。

不限制

参数留空表示该项不限制。不要用 0 代替留空。

例如,为实例 A 中某模型设置自然月上限为 1000000、每分钟上限为 10000,表示该模型在实例 A 中分别受每月 100 万 Token 和每分钟 1 万 Token 的限制。此配置不影响实例 B 中同一模型的用量上限。

说明

Token 上限不是费用上限。不同模型的输入、输出及其他计费维度可能采用不同单价。请结合 AI Function 计费 评估费用,不要将监控中的 Token 总量直接等同于账单金额。

配置自定义模型

当系统模型无法满足需求时,您可以将已有的模型服务接入实例使用。整体过程分为三步:先新增模型配置,再下发配置并测试连通性,最后通过 SQL 调用。

说明

每项配置仅绑定一个所选实例,保存配置不等于已下发:新增实例不会自动继承配置,需要在实例内重新下发。

步骤一:新增模型配置

  1. 在 模型配置 页签,找到 自定义模型 区域。

  2. 单击 新增模型。

  3. 在 自定义模型配置 对话框中,填写以下参数。

参数

说明

实例

选择需要使用该模型的实例。配置绑定至此实例。

资源名称

模型在实例中的调用名称,即自定义模型函数的 resource_name。必须以字母开头,仅支持字母、数字和下划线,最长 64 位;创建后不可修改。例如 my_llm。

能力类型

根据模型服务实际提供的能力选择。例如,接入文本生成模型时选择文本生成。

接口协议

根据模型服务支持的协议选择。接入兼容 OpenAI 接口的文本生成服务时,可选择 openai_compatible。

服务端模型名称

模型服务端识别的模型名称或模型标识。该值应与服务端的配置一致,不是资源名称。

模型服务地址

完整的 HTTPS 接口地址,包含实际调用路径。执行 AI SQL 的实例节点需要能够访问该地址。

访问凭据

模型服务要求的鉴权凭据,例如 API Key。请使用有权调用目标模型的有效凭据。

  1. 单击 保存,返回自定义模型列表。

  2. 在列表中查看实例、资源名称、服务端模型名称、能力类型及状态。必要时单击 刷新 获取最新信息。

说明

资源名称用于在 StarRocks SQL 中引用模型配置;服务端模型名称用于告诉模型服务实际调用哪个模型。两者用途不同,可以使用不同的名称。

步骤二:下发配置并测试连通性

  1. 在自定义模型列表中,找到刚保存的配置,通过其操作列将配置手动下发至绑定的实例。

  2. 查看列表中的状态列,确认下发结果。下发成功后,执行模型连通性测试。

  3. 如果测试失败,依次检查模型服务地址、接口协议、服务端模型名称、访问凭据及实例节点的网络可达性,排除问题后重新测试。

说明

浏览器或本地计算机能够访问模型服务,不代表实例节点能够访问。应确认实际执行 AI SQL 的节点具备访问条件。

步骤三:验证模型可用

下发成功后,建议先执行一次调用,确认配置生效。例如,已成功下发文本生成模型,且资源名称为 my_llm 时,可执行以下 SQL。

SELECT ai_custom_query(
      'my_llm',
      '请用一句话说明向量检索的用途。'
  );

其中,my_llm 是创建配置时填写的资源名称,不是服务端模型名称。模型返回的文本内容可能因模型与参数不同而变化。

验证通过后,即可在业务 SQL 中使用该模型。自定义模型函数的完整语法,请参见 AI Function。

查看模型用量

查看消耗趋势

  1. 进入 AI Function & 模型 > 监控 页签。

  2. 在消耗趋势区域选择查看维度:按实例查看各实例的 Token 消耗趋势(可通过实例选择框筛选实例),或按模型查看模型维度的 Token 消耗趋势。

  3. 选择 近 7 天 或 近 30 天。

  4. 查看图表及其上方显示的实际统计区间。

查看消耗分布

  1. 在 实例消耗分布 区域,查看各实例消耗各模型的 Token 明细及合计。

  2. 核对该区域显示的统计区间。此区域展示本月累计用量,与上方趋势图的近 7 天或近 30 天范围不同。

  3. 需要保存用量明细时,单击 导出。

统计口径

项目

说明

统计指标

页面展示的模型 Token 消耗量。

趋势范围

支持查看近 7 天或近 30 天的消耗趋势,以页面显示的实际统计区间为准。

分布范围

展示本月累计的实例与模型消耗明细,以该区域显示的统计区间为准。

时间展示

北京时间。

数据时效

离线统计,不是实时数据。最近产生的调用可能尚未纳入统计。

计费口径

页面明确展示非账单计费用量。实际费用和计费用量请以账单为准。

说明

近 30 天是趋势图可选择的时间范围,不代表已承诺的数据保留时长。页面显示"暂无数据"时,不能仅据此判断当前没有调用或尚未产生费用。

常见问题

设置模型上限后,是否会影响其他实例?

不会。配置仅对对话框中所选实例的对应模型生效。如需限制其他实例,应分别选择实例进行配置。

每分钟上限是否等同于 QPS?

不等同。每分钟上限的单位是 tokens/分钟,用于限制 Token 消耗;QPS 表示每秒请求数。同样的请求数可能产生不同的 Token 用量。

自定义模型已保存,为什么还不能调用?

保存只完成模型信息配置。请确认配置已手动下发至绑定实例,并完成连通性测试。同时检查 SQL 是否连接正确的实例,以及函数中传入的资源名称是否与配置一致。

模型服务地址可以只填写服务域名吗?

需要填写完整的 HTTPS 接口地址,包含调用路径。请按模型服务提供的接口文档填写,并确认实例节点可以访问。

监控页面为什么没有显示刚产生的调用?

该页面展示离线统计结果,不是实时调用日志。请检查地域、查看维度、筛选条件和实际统计区间,并在数据更新后查看。费用核对请以账单为准。

AI 函数是否会将数据发送至模型服务?

会。执行推理时,相关输入字段或多模态内容会根据调用需要发送至模型服务。请在调用前确认数据授权和合规要求。不要在共享 SQL、日志或截图中暴露访问凭据。

相关文档