EMR Serverless StarRocks 提供统一的 AI 模型与函数管理入口。本文按使用顺序介绍如何查看系统模型、调用 AI 函数,以及按需设置模型用量上限、配置自定义模型和查看用量监控。
前提条件
已创建 EMR Serverless StarRocks 实例,且目标实例支持待使用的 AI 函数。AI Function 基础版本要求请参见AI Function;不同函数的具体能力以对应版本支持情况为准。
已具备相关控制台操作权限。执行 SQL 时,还需具备相应的数据库访问和函数调用权限。
使用系统模型前,已按控制台提示完成 AI Function 开通。
使用自定义模型前,已准备模型服务地址、服务端模型名称及访问凭据,并确认执行 AI SQL 的实例节点能够访问该地址。
使用说明
模型类型
开始操作前,先了解两类模型的区别。
模型类型 | 说明 | 使用方式 |
系统模型 | 由平台提供,模型清单展示模型名称、来源及能力类型。 | 开通 AI Function 后,通过支持该模型的 AI 函数调用。支持指定模型的函数可通过 |
自定义模型 | 由您配置已有模型服务的调用信息,并绑定至指定实例。 | 保存配置并手动下发至目标实例,测试连通性后,通过相应的自定义模型函数调用。 |
模型清单是可用模型的查看入口,不代表所有模型适用于所有 AI 函数。请根据任务类型及函数参数要求选择模型。模型可用范围以当前地域的控制台展示为准。
使用流程
建议按以下顺序使用本文的功能。
进入管理页面,在模型配置页签查看系统模型,确认可用的模型及其能力。
在AI Function 目录页签了解函数用法,并通过 SQL 调用系统模型,先跑通基础用法。
需要控制成本时,为实例设置模型用量上限。
系统模型无法满足需求时,配置自定义模型并下发至实例。
在监控页签查看 Token 消耗趋势与本月累计用量。
各项配置均与具体实例绑定:自定义模型按实例逐个配置并手动下发,用量上限按"实例+模型"设置,监控按实例或模型维度汇总。相关细节请参见对应章节。
进入 AI 模型与函数管理页面
登录 E-MapReduce 控制台,在左侧导航栏选择 EMR Serverless > StarRocks。
在顶部菜单栏选择地域,然后单击 AI 能力 页签。
选择 AI Function & 模型。该页面包含以下子页签,本文后续操作均从此页面开始。
子页签 | 功能 |
模型配置 | 查看系统模型、设置模型用量上限,以及配置自定义模型。 |
AI Function 目录 | 查看 AI 函数及其使用说明。 |
监控 | 按实例或模型查看 Token 消耗趋势,以及本月累计用量明细。 |
如果页面提示尚未开通 AI Function,单击提示条右侧的 前往开通,按照页面提示完成开通。
查看系统模型
进入 AI Function & 模型 > 模型配置 页签。
在 模型清单 区域查看系统模型信息。
字段 | 说明 |
模型名称 | 用于识别模型。显式指定系统模型时,应使用函数支持的模型名称。 |
来源 | 系统提供的模型显示为 系统模型。 |
能力类型 · 模态 | 模型提供的能力,例如文本生成、翻译、文本 Embedding 或多模态 Embedding。 |
操作 | 通过 设置上限 为指定实例配置该模型的用量上限。 |
确认目标模型后,即可结合 AI Function 目录 中的函数说明在 SQL 中调用;如需控制用量或接入自有模型,再参见后续章节。
文本生成模型用于内容理解与生成,Embedding 模型用于生成向量,两者不能互相替代。进行向量相似度检索时,待检索数据与查询内容需要使用兼容的向量空间和维度。
查看和使用 AI 函数
AI Function 目录用于查看内置 AI 函数及其调用方式,不需要在目录中逐个创建或部署函数。配置自定义模型也不会新增一个 SQL 函数,而是为已有的自定义模型函数提供可引用的模型资源。
进入 AI Function & 模型 > AI Function 目录 页签。
根据业务需求查看目标函数的用途和调用说明。
确认函数支持的模型、输入参数、返回类型及实例版本要求。
在目标实例的 SQL 编辑器或已连接该实例的 SQL 客户端中执行 SQL。
常见任务与函数的对应关系如下。
任务 | 函数示例 |
文本情感分析、分类与信息抽取 |
|
文本过滤、脱敏、翻译与摘要 |
|
按提示词进行理解与生成 |
|
文本及多模态向量化 |
|
对多行文本进行汇总 |
|
使用已配置的自定义文本生成模型 |
|
SQL 示例
从目录中确认函数的参数和模型要求后,即可在 SQL 中调用。以下示例分别演示显式选择文本生成模型和文本 Embedding 模型,执行前请确认对应模型在目标实例可用。
文本生成
SELECT ai_complete(
'qwen3.6-plus',
'请用一句话说明向量检索的用途。'
);返回模型生成的文本。
文本向量化
SELECT ai_embed(
'text-embedding-v4',
'这款商品支持七天无理由退货。'
);返回 ARRAY 类型的向量。
model 参数是否可省略、参数位置以及可用的函数重载,以对应函数文档为准。不要将系统模型名称与自定义模型资源名称混用。批量处理前,建议先用少量数据验证结果并评估 Token 消耗。
设置模型用量上限
您可以设置自然月 Token 上限和每分钟 Token 上限,分别控制累计消耗和短时间内的调用用量。
操作步骤
在 模型配置 页签,单击 设置模型上限;也可以直接单击目标模型操作列的 设置上限。
在 设置模型用量上限 对话框中,选择需要配置的实例,并确认提示条中展示的实例名称和实例 ID,避免修改其他实例的配置。
为目标模型填写以下参数。
参数 | 说明 |
自然月上限 | 对应模型在所选实例中每个自然月的 Token 消耗上限,单位为 tokens/月。留空表示不限制。 |
每分钟上限 | 对应模型在所选实例中每个自然分钟的 Token 消耗上限,单位为 tokens/分钟。留空表示不限制。 |
单击 保存配置。
上限规则
配置前,请了解以下规则。
项目 | 规则 |
配置范围 | 仅对所选实例中的对应模型生效,不影响其他实例。 |
自然月统计 | 按自然月累计,每月 1 日 00:00 自动重置。 |
每分钟统计 | 按自然分钟统计。该参数限制的是 Token 数,不是请求数,也不是单次请求的 Token 数。 |
超出自然月上限 | 对应实例中该模型的 AI Function 调用暂停,直至下一个自然月。 |
超出每分钟上限 | 超出上限的请求返回错误。 |
不限制 | 参数留空表示该项不限制。不要用 |
例如,为实例 A 中某模型设置自然月上限为 1000000、每分钟上限为 10000,表示该模型在实例 A 中分别受每月 100 万 Token 和每分钟 1 万 Token 的限制。此配置不影响实例 B 中同一模型的用量上限。
Token 上限不是费用上限。不同模型的输入、输出及其他计费维度可能采用不同单价。请结合 AI Function 计费 评估费用,不要将监控中的 Token 总量直接等同于账单金额。
配置自定义模型
当系统模型无法满足需求时,您可以将已有的模型服务接入实例使用。整体过程分为三步:先新增模型配置,再下发配置并测试连通性,最后通过 SQL 调用。
每项配置仅绑定一个所选实例,保存配置不等于已下发:新增实例不会自动继承配置,需要在实例内重新下发。
步骤一:新增模型配置
在 模型配置 页签,找到 自定义模型 区域。
单击 新增模型。
在 自定义模型配置 对话框中,填写以下参数。
参数 | 说明 |
实例 | 选择需要使用该模型的实例。配置绑定至此实例。 |
资源名称 | 模型在实例中的调用名称,即自定义模型函数的 |
能力类型 | 根据模型服务实际提供的能力选择。例如,接入文本生成模型时选择文本生成。 |
接口协议 | 根据模型服务支持的协议选择。接入兼容 OpenAI 接口的文本生成服务时,可选择 |
服务端模型名称 | 模型服务端识别的模型名称或模型标识。该值应与服务端的配置一致,不是资源名称。 |
模型服务地址 | 完整的 HTTPS 接口地址,包含实际调用路径。执行 AI SQL 的实例节点需要能够访问该地址。 |
访问凭据 | 模型服务要求的鉴权凭据,例如 API Key。请使用有权调用目标模型的有效凭据。 |
单击 保存,返回自定义模型列表。
在列表中查看实例、资源名称、服务端模型名称、能力类型及状态。必要时单击 刷新 获取最新信息。
资源名称用于在 StarRocks SQL 中引用模型配置;服务端模型名称用于告诉模型服务实际调用哪个模型。两者用途不同,可以使用不同的名称。
步骤二:下发配置并测试连通性
在自定义模型列表中,找到刚保存的配置,通过其操作列将配置手动下发至绑定的实例。
查看列表中的状态列,确认下发结果。下发成功后,执行模型连通性测试。
如果测试失败,依次检查模型服务地址、接口协议、服务端模型名称、访问凭据及实例节点的网络可达性,排除问题后重新测试。
浏览器或本地计算机能够访问模型服务,不代表实例节点能够访问。应确认实际执行 AI SQL 的节点具备访问条件。
步骤三:验证模型可用
下发成功后,建议先执行一次调用,确认配置生效。例如,已成功下发文本生成模型,且资源名称为 my_llm 时,可执行以下 SQL。
SELECT ai_custom_query(
'my_llm',
'请用一句话说明向量检索的用途。'
);其中,my_llm 是创建配置时填写的资源名称,不是服务端模型名称。模型返回的文本内容可能因模型与参数不同而变化。
验证通过后,即可在业务 SQL 中使用该模型。自定义模型函数的完整语法,请参见 AI Function。
查看模型用量
查看消耗趋势
进入 AI Function & 模型 > 监控 页签。
在消耗趋势区域选择查看维度:按实例查看各实例的 Token 消耗趋势(可通过实例选择框筛选实例),或按模型查看模型维度的 Token 消耗趋势。
选择 近 7 天 或 近 30 天。
查看图表及其上方显示的实际统计区间。
查看消耗分布
在 实例消耗分布 区域,查看各实例消耗各模型的 Token 明细及合计。
核对该区域显示的统计区间。此区域展示本月累计用量,与上方趋势图的近 7 天或近 30 天范围不同。
需要保存用量明细时,单击 导出。
统计口径
项目 | 说明 |
统计指标 | 页面展示的模型 Token 消耗量。 |
趋势范围 | 支持查看近 7 天或近 30 天的消耗趋势,以页面显示的实际统计区间为准。 |
分布范围 | 展示本月累计的实例与模型消耗明细,以该区域显示的统计区间为准。 |
时间展示 | 北京时间。 |
数据时效 | 离线统计,不是实时数据。最近产生的调用可能尚未纳入统计。 |
计费口径 | 页面明确展示非账单计费用量。实际费用和计费用量请以账单为准。 |
近 30 天是趋势图可选择的时间范围,不代表已承诺的数据保留时长。页面显示"暂无数据"时,不能仅据此判断当前没有调用或尚未产生费用。
常见问题
设置模型上限后,是否会影响其他实例?
不会。配置仅对对话框中所选实例的对应模型生效。如需限制其他实例,应分别选择实例进行配置。
每分钟上限是否等同于 QPS?
不等同。每分钟上限的单位是 tokens/分钟,用于限制 Token 消耗;QPS 表示每秒请求数。同样的请求数可能产生不同的 Token 用量。
自定义模型已保存,为什么还不能调用?
保存只完成模型信息配置。请确认配置已手动下发至绑定实例,并完成连通性测试。同时检查 SQL 是否连接正确的实例,以及函数中传入的资源名称是否与配置一致。
模型服务地址可以只填写服务域名吗?
需要填写完整的 HTTPS 接口地址,包含调用路径。请按模型服务提供的接口文档填写,并确认实例节点可以访问。
监控页面为什么没有显示刚产生的调用?
该页面展示离线统计结果,不是实时调用日志。请检查地域、查看维度、筛选条件和实际统计区间,并在数据更新后查看。费用核对请以账单为准。
AI 函数是否会将数据发送至模型服务?
会。执行推理时,相关输入字段或多模态内容会根据调用需要发送至模型服务。请在调用前确认数据授权和合规要求。不要在共享 SQL、日志或截图中暴露访问凭据。