图文混合模态审核大模型服务

一、使用场景

阿里云内容安全基于图片和文本混合场景特性，定制提供图文混合模态审核大模型服务，帮助您发现图片加文本以及前后文中的风险内容，从而更好的发现潜在风险。目前支持的场景如下：

• 帖子图文多模态检测：针对社区、论坛等帖子场景，支持结合主帖内容和评论内容进行综合风险判断。主帖包含标题、正文、帖图，评论包含评论文本、评论图片，并支持评论中的回复功能，综合进行风险检测和判断。

• 头像昵称图文多模态检测：针对社交、IM、游戏等各种有用户资料的场景，结合头像和昵称进行综合风险分析，判断是否有整体的违规风险内容。

二、服务说明

图文混合模态审核能力支持的服务（Service）如下：

三、计费说明

图文混合审核增强版AIGC检测服务支持按量后付费和资源包抵扣两种付费方式。

按量后付费

当您开通图文混合审核增强版服务后，默认付费方式是按量后付费，且按照实际用量结算当日费用，不调用服务不收费。

四、接入指引

1. 注册阿里云账号：立即注册，按照操作提示完成账号注册。

2. 开通内容安全按量付费：请确保已开通服务，具体操作，请参见开通服务。开通不收费，接口接入使用后系统会按使用量自动出账，具体信息，请参见计费说明（待确定）。您也可以购买按量抵扣资源包，资源包相较于后付费存在一定阶梯抵扣，适合使用量级可预期和较大的用户，具体信息，请参见购买按量抵扣资源包。

3. 创建AccessKey：请确保您已通过RAM创建AccessKey，具体操作，请参见创建AccessKey。如果您使用的是RAM用户（子账号）AccessKey，您需要通过阿里云账号（主账号）给RAM用户赋予AliyunYundunGreenWebFullAccess权限，具体操作，请参见RAM授权。

4. 开发接入：推荐使用SDK方式调用。具体信息，请参见图文混合模态审核SDK及接入指南。

提交审核任务

接口说明

• 业务接口：MultimodalModeration。

• 支持的地域及接入地址：

• 计费信息：该接口为收费接口。会根据您实际输入的图片数量和文本字符数进行计费。关于计费方式，请参见计费说明。

• 检测对象：支持检测文本+图片类型。

• 返回结果：异步检测任务不会实时返回检测结果，您需要通过callback或者轮询的方式获取检测结果。检测结果最长保留24小时。

  • callback获取检测结果：提交异步检测任务时，在请求参数中传入callback参数，用来自动接收检测结果。

  • 轮询获取检测结果：提交异步检测任务时，无需传入callback参数；提交异步检测任务后，调用结果查询接口获取检测结果。

• 数据要求：

  • 全文文本限制为5000字，全文图片数量限制为30张。

  • 图片支持以下格式：PNG、JPG、JPEG、BMP、WEBP、TIFF、SVG、HEIC（该格式最长边需小于8192 px）、GIF（取第一帧）、ICO（取最后一图）。

  • 图片大小限制在20 MB以内，高或者宽不能超过16,384 px，且总像素不能超过1.67亿 px。像素建议大于200*200（px），像素过低会影响内容安全检测算法的效果。

  • 图片下载时间限制为3秒内，如果下载时间超过3秒，返回下载超时。

请求参数

表 1. ServiceParameters

表 2. mainData

表 3. mainImages

表 4. commentDatas

表 5. images

表 6. commentDatas

{
    "service": "post_text_image_detection",
    "serviceParameters": {
        "dataId": "Multimodal0424***",
        "mainData": {
            "mainTitle": "主标题或者个人资料",
            "mainContent": "主文本内容或者个人昵称内容",
            "mainImages": [
                {
                    "imageUrl": "https://aliyun.com/240308/test001.jpg"
                },
                {
                    "imageUrl": "https://aliyun.com/240308/test002.jpg"
                }
            ],
            "mainPostTime": "2025-06-18 20:20:20"
        },
        "commentDatas": [
            {
                "images": [
                    {
                        "imageUrl": "https://aliyun.com/240308/test003.jpg"
                    },
                    {
                        "imageUrl": "https://aliyun.com/240308/test004.jpg"
                    }
                ],
                "content": "评论内容1",
                "postTime": "",
                "commentDatas": [
                    {
                        "content": "评论内容1回复1",
                        "images": [
                            {
                                "imageUrl": "https://aliyun.com/240308/test005.jpg"
                            }
                        ],
                        "postTime": ""
                    },
                    {
                        "content": "评论内容1回复2",
                        "images": [
                            {
                                "imageUrl": "https://aliyun.com/240308/test006.jpg"
                            }
                        ],
                        "postTime": ""
                    }
                ]
            },
            {
                "content": "评论内容2",
                "images": [],
                "postTime": "",
                "commentDatas": []
            },
            {
                "content": "评论内容3",
                "images": [],
                "postTime": "",
                "commentDatas": []
            },
            {
                "content": "评论内容4",
                "images": [],
                "postTime": "",
                "commentDatas": []
            },
            {
                "content": "评论内容5",
                "images": [],
                "postTime": "",
                "commentDatas": []
            },
            {
                "content": "评论内容6",
                "images": [],
                "postTime": "",
                "commentDatas": []
            },
            {
                "content": "评论内容7",
                "images": [],
                "postTime": "",
                "commentDatas": []
            }
        ]
    }
}

{
    "Msg": "OK",
    "Code": 200,
    "Data":
    {
        "ReqId": "AAAAA-BBBBB-AIXI-1314-CCCCC"
    },
    "DataId": "Multimodal0424***"
    "RequestId": "AAAAA-BBBBB-AIXI-1314-CCCCC"
}

获取多模态审核任务结果

请求参数

表 1. ServiceParameters

返回数据

表 2. Data

表 3. MainData

表 4. Result

表 5. CommentDatas

表 6. CommentDatas（内嵌）

表 7. Usage

示例

请求示例

{
    "serviceParameters": {
        "reqId": "AAAAA-BBBBB-AIXI-1314-CCCCC"
    }
}

正常返回示例

• 有违规内容

{
    "RequestId": "ABCD1234-1234-1234-1234-123****",
    "Message": "OK",
    "Code": 200,
    "Data": {
        "DataId": "dataId***",
        "RiskLevel": "high",
        "MainData": {
            "Result": [
                {
                    "Label": "violent_explosion",
                    "Description": "烟火类内容"
                },
                {
                    "Label": "sexual_partialNudity",
                    "Description": "性感内容"
                }
            ]
        },
        "CommentDatas": [
            {
                "Result": [
                    {
                        "Label": "violent_explosion",
                        "Description": "烟火类内容"
                    },
                    {
                        "Label": "sexual_partialNudity",
                        "Description": "性感内容"
                    }
                ],
                "CommentDatas": [
                    {
                        "Result": [
                            {
                                "Label": "violent_explosion",
                                "Description": "烟火类内容"
                            },
                            {
                                "Label": "violent_explosion",
                                "Description": "烟火类内容"
                            }
                        ]
                    },
                    {
                        "Result": [
                            {
                                "Label": "nonLabel",
                                "Description": "未检测到违规"
                            }
                        ]
                    }
                ]
            },
            {
                "Result": [
                    {
                        "Label": "violent_explosion",
                        "Description": "烟火类内容"
                    }
                ]
            },
            {
                "Result": [
                    {
                        "Label": "nonLabel",
                        "Description": "未检测到违规"
                    }
                ]
            }
        ],
        "Usage": {
            "Total_tokens": 1039,
            "Output_tokens": 56,
            "Input_tokens": 983
        }
    }
}

• 无违规内容

{
    "RequestId": "ABCD1234-1234-1234-1234-123****",
    "Message": "OK",
    "Code": 200,
    "Data": {
        "DataId": "dataId***",
        "RiskLevel": "none",
        "MainData": {
            "Result": [
                {
                    "Label": "nonLabel",
                    "Description": "未检测到违规"
                }
            ]
        },
        "CommentDatas": [
            {
                "Result": [
                    {
                        "Label": "nonLabel",
                        "Description": "未检测到违规"
                    }
                ],
                "CommentDatas": [
                    {
                        "Result": [
                            {
                                "Label": "nonLabel",
                                "Description": "未检测到违规"
                            }
                        ]
                    },
                    {
                        "Result": [
                            {
                                "Label": "nonLabel",
                                "Description": "未检测到违规"
                            }
                        ]
                    }
                ]
            },
            {
                "Result": [
                    {
                        "Label": "nonLabel",
                        "Description": "未检测到违规"
                    }
                ]
            },
            {
                "Result": [
                    {
                        "Label": "nonLabel",
                        "Description": "未检测到违规"
                    }
                ]
            }
        ],
        "Usage": {
            "Total_tokens": 1039,
            "Output_tokens": 56,
            "Input_tokens": 983
        }
    }
}

Code说明

以下为图文混合模态审核接口返回Code的含义说明，系统仅对Code返回为200和280的请求计量计费，其他Code不会计费。