多模态向量

公共说明

请求body最大不能超过8MB。

请求方式

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/multi-modal-embedding/{service_id} 

• host：调用服务的地址，支持通过公网和VPC两种方式调用API服务，可参见获取服务接入地址。

  在左侧导航栏选择目标工作空间（如 default(默认空间)），单击 API Keys，在页面上方的访问域名区域即可查看 公网API域名 和 私网API域名。

• workspace_name：工作空间名称，例如default。

• service_id： 系统内置服务id，例如ops-m2-encoder。

请求参数

[
  {
    "text":"科学技术是第一生产力"
  },
  {
    "image":"http://***/a.jpg"
  }
]

{
  "enable_fusion": false,
  "dimension": 1024
}

{
  "text":"文本输入"
}

{
  "image":"http://xxxxx/a.jpg"
}

{
  "image":"data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAAoHCB..."
}

{
  "video": "https://example.com/video.mp4"
}

{
  "width": 224,
  "height": 224
}

{
  "min_pixels": 409600,
  "max_pixels": 1638400
}

文本向量化

curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer 您的API-KEY" \
"https://{host}/v3/openapi/workspaces/default/multi-modal-embedding/qwen3-vl-embedding" \
-d '{
  "input": [
    {
      "text": "科学技术是第一生产力"
    }
  ],
  "options": {
    "enable_fusion": false,
    "dimension": 1024
  }
}'

图文融合向量

使用qwen3-vl-embedding将文本和图片融合为一个向量。

curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer 您的API-KEY" \
"https://{host}/v3/openapi/workspaces/default/multi-modal-embedding/qwen3-vl-embedding" \
-d '{
  "input": [
    {
      "text": "检索与这段描述和图片相似的内容"
    },
    {
      "image": "https://example.com/image.jpg"
    }
  ],
  "options": {
    "enable_fusion": true,
    "instruct": "Represent the input for cross-modal retrieval.",
    "dimension": 1024
  }
}'

文本与视频融合向量

video参数仅适用于qwen3-vl-embedding。每次请求最多包含1个视频。

curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer 您的API-KEY" \
"https://{host}/v3/openapi/workspaces/default/multi-modal-embedding/qwen3-vl-embedding" \
-d '{
  "input": [
    {
      "text": "检索与这段描述和视频相似的内容"
    },
    {
      "video": "https://example.com/video.mp4"
    }
  ],
  "options": {
    "enable_fusion": true,
    "dimension": 1024
  }
}'

图片缩放

以下示例使用ops-m2-encoder，将输入图片缩放为224 × 224像素。

curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer 您的API-KEY" \
"https://{host}/v3/openapi/workspaces/default/multi-modal-embedding/ops-m2-encoder" \
-d '{
  "input": [
    {
      "image": "https://example.com/image.jpg"
    }
  ],
  "options": {
    "resize_method": "fixed_size",
    "resize_options": {
      "width": 224,
      "height": 224
    }
  }
}'

正常响应示例

以下为qwen3-vl-embedding文本向量化请求的响应示例。embedding数组仅展示部分元素。

{
  "request_id": "f4483a215f4d68dbc6d6c6c37f006854",
  "latency": 259,
  "usage": {
    "image_token": 0,
    "text_token": 24
  },
  "result": {
    "embeddings": [
      {
        "index": 0,
        "embedding": [
          -0.00211523100733757,
          -0.03339154273271561,
          0.04578055068850517,
          0.017939193174242973,
          0.0033657182939350605,
          -0.06284935027360916
        ]
      }
    ]
  }
}

异常响应示例

在访问请求出错的情况下，输出的结果中会通过code和message指明出错原因。

{
    "request_id": "651B3087-8A07-****-B931-9C4E7B60F52D",
    "latency": 0,
    "code": "InvalidParameter",
    "message": "JSON parse error: Cannot deserialize value of type `InputType` from String \"xxx\""
}