医学智能问答

本文介绍图像分析处理(imageprocess)类目下的医学智能问答RunMedQA的语法及示例。

功能描述

医学智能问答能力面向皮肤病预问诊场景,通过多轮对话和图像收集的方式,完成皮肤病相关的预问诊信息收集,并输出结构化的预问诊报告,预测潜在皮肤病。采集的问诊信息主要包括以下内容:

  • 基本信息,如主诉、年龄、部位等。
  • 病情,如症状、并发症、病程等。
  • 病史相关,如疾病史、用药史、过敏史等。
  • 非结构化信息,如皮损图片等。
说明
  • 您可以进入在线咨询获取在线人工帮助。
  • 阿里云视觉智能开放平台视觉AI能力API接入、接口使用或问题咨询等,请通过钉钉群(23109592)加入阿里云视觉智能开放平台咨询群联系我们。

应用场景

面向皮肤病预问诊场景,采用多轮对话的方式,完成问诊信息采集。

特色优势

  • 会话流程简洁、智能,便于集成到用户应用中。
  • 问诊信息抽取能力准确高效,结合多模态皮肤病预测技术,自动化生成病例报告和潜在疾病诊断,可有效降低问诊时间成本。

接入指引

1. 注册阿里云账号:打开阿里云官网,在阿里云官网右上角,单击立即注册,按照操作提示完成账号注册。

2. 开通能力:请确保您已开通图像分析处理,若未开通服务请立即开通

3. 创建AccessKey:请确保您已创建AccessKey,如果您使用的是子账号AccessKey,您需要给子账号赋予AliyunVIAPIFullAccess权限,具体操作,请参见RAM授权

4. 在线调试(可选):您可以通过OpenAPI Explorer在线调试能力,查看完整的调用示例代码及SDK依赖信息,也可以下载完整的工程。

5. 开发接入步骤:

  • SDK总览中选择您要接入使用的SDK语言。
  • 在对应语言的SDK文档中找到AI类目为图像分析处理(imageprocess)的SDK包进行安装。
  • 参考文档中提供的示例代码进行适当修改后调用。

6. 客户端直接调用:该能力常用的客户端调用方式包括以下几种。

输入限制

  • 图像格式:JPEG、JPG、PNG、BMP。
  • 图像大小:不超过3 MB。
  • 图像分辨率:大于256×256像素,小于2048×2048像素。
  • URL地址中不能包含中文字符。
  • 问题内容字数不能超过500字。

计费说明

医学智能问答能力目前处于公测期,可免费调用。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称

类型

是否必选

示例值

描述

Action String RunMedQA

系统规定参数。取值:RunMedQA。

OrgId String 0001

数据来源机构代码。

OrgName String weiyi

数据来源机构名称。

SessionId String d1f6a6c2444f4c01adfadd413938e5c7

会话ID。首次发送主诉信息时无需填写SessionId,当QuestionTypechiefComplaint时算首次问诊。首次调用后返回结果中显示对应SessionId,后续问诊时SessionId为必填项。即当QuestionTypechiefComplaint时,此项为必填项。

说明 一次问诊对应一个SessionId,一次问诊会有多轮次对话,每个轮次都对应当前这个问诊的唯一SessionId。问诊有效期为24小时,24小时后SessionId失效。
Department String 皮肤科

代表医院科室。

说明 当前服务版本仅支持皮肤科
QuestionType String chiefComplaint

问题类型。取值如下:

  • chiefComplaint:主诉
  • age:年龄
  • bodyParts:部位
  • symptoms:症状
  • complications:并发症
  • diseaseCourse:病程
  • diseaseHistory:疾病史
  • medications:用药史
  • allegries:过敏史
  • images:皮损图片
  • reports:报告
说明 首次问诊,QuestionType不能为空,且必须为images类型,sessionId可为空。
AnswerImageURLList.N.AnswerImageURL String https://viapi-oss.oss-cn-shanghai.aliyuncs.com/doc/imageprocess/roseola.jpeg

待检测皮肤病图像的URL地址。最多支持添加50条。推荐使用上海地域的OSS链接,对于文件在本地或者非上海地域OSS链接的情况,请参见文件URL处理

说明 QuestionTypeimages时必填。AnswerImageURLAnswerImageData建议二选一,当与Base64编码方式共存时,URL方式优先。文件的Base64编码处理操作,请参见文件Base64处理
AnswerImageDataList.N.AnswerImageData String iVBORw0KGgoAAAANSUhEUgAAAoAAAAHJCAIAAACaEB9NAAEAAElEQVR4nNT9Wb****

待检测皮肤病图像的Base64编码字符串。最多支持添加50条。文件的Base64编码处理操作,请参见文件Base64处理

说明 QuestionTypeimages时必填。AnswerImageURLAnswerImageData建议二选一,当与URL方式共存时,URL方式优先。
AnswerTextList.N.AnswerText String 起了好多红疙瘩流脓,痒死了,晚上痒的最厉害,怎么办啊?

患者的主诉或回答列表。最多支持添加50条。

返回数据

名称

类型

示例值

描述

RequestId String BFF7EEC3-F6B5-4387-AC1D-BB095A1A02E4

请求ID。

Data Object

返回的结果数据内容。

SessionId String d1f6a6c2444f4c01adfadd413938e5c7

会话ID。

QuestionType String age

问题类型。

Question String 你好,还需要你补充些其他信息,年龄多大了?

补充追问问题。当QuestionTypeimages时,无返回值。

AnswerType String text

选项类型。默认为text。

  • text:文本
  • single:单选
  • multiple:多选
Options Array of String "发烧","呼吸困难","关节疼痛","腹泻","头痛","无"

问题选项。

Reports Map

预问诊信息结构化报表。当QuestionTypeimages时(即问诊流程最后一步),才有返回值。

String "diagResults": [ "多形红斑", "玫瑰糠疹", "急性荨麻疹" ], "diagProb": { "多形红斑": 0.992, "急性荨麻疹": 0.0019, "玫瑰糠疹": 0.0053 }

预问诊信息结构化报表。

Reports中对应的key-value值如下表所示。

参数补充说明

key

value类型

是否有返回值

中文描述

symptoms

List<String>

症状

complications

List<String>

并发症

diseaseHistory

List<String>

疾病史

medications

List<String>

用药史

allegries

List<String>

过敏史

bodyParts

List<String>

部位

diseaseCourse

List<String>

病程

age

List<String>

年龄

formDistribution

List<String>

否(非模板必须,算法抽取出的)

形态分布

images

List<String>

图片

diagResults

List<String>

诊断结果

diagProb

Map

诊断概率

bbox

List<Obeject>

病灶区域

SDK参考

阿里云视觉AI图像分析处理类目下的医学智能问答能力推荐使用SDK调用,支持多种编程语言,调用时请选择AI类目为图像分析处理(imageprocess)的SDK包,文件参数通过SDK调用可支持本地文件及任意URL,具体可参见SDK总览

示例

请求示例

http(s)://imageprocess.cn-shanghai.aliyuncs.com/?Action=RunMedQA      //更多关于访问域名(Endpoint)信息,请参见:https://help.aliyun.com/document_detail/143103.html
&OrgId=0001
&OrgName=weiyi
&SessionId=d1f6a6c2444f4c01adfadd413938e5c7
&Department=皮肤科
&QuestionType=chiefComplaint
&AnswerImageURLList=[{"AnswerImageURL":"https://viapi-oss.oss-cn-shanghai.aliyuncs.com/doc/imageprocess/roseola.jpeg"}]
&AnswerImageDataList=[{"AnswerImageData":"iVBORw0KGgoAAAANSUhEUgAAAoAAAAHJCAIAAACaEB9NAAEAAElEQVR4nNT9Wb****"}]
&AnswerTextList=[{"AnswerText":"起了好多红疙瘩流脓,痒死了,晚上痒的最厉害,怎么办啊?"}]
&公共请求参数

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<RunMedQAResponse>
    <RequestId>5AC38357-6B32-508E-A8AE-3BB891A6D2E8</RequestId>
    <Data>
        <QuestionType>chiefComplaint</QuestionType>
        <Reports>
            <bbox>
                <score>0.8148</score>
                <y1>1</y1>
                <x1>20</x1>
                <y2>355</y2>
                <x2>534</x2>
            </bbox>
            <diagResults>多形红斑</diagResults>
            <diagResults>玫瑰糠疹</diagResults>
            <diagResults>急性荨麻疹</diagResults>
            <diagProb>
                <多形红斑>0.992</多形红斑>
                <急性荨麻疹>0.0019</急性荨麻疹>
                <玫瑰糠疹>0.0053</玫瑰糠疹>
            </diagProb>
        </Reports>
        <Question>请描述一下您的病情?</Question>
        <AnswerType>text</AnswerType>
        <SessionId>7fa1fcaa9a5845d5906f5648d6de284f</SessionId>
    </Data>
    <Code/>
</RunMedQAResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "RequestId" : "5AC38357-6B32-508E-A8AE-3BB891A6D2E8",
  "Data" : {
    "QuestionType" : "chiefComplaint",
    "Reports" : {
      "bbox" : {
        "score" : 0.8148,
        "y1" : 1,
        "x1" : 20,
        "y2" : 355,
        "x2" : 534
      },
      "diagResults" : [ "多形红斑", "玫瑰糠疹", "急性荨麻疹" ],
      "diagProb" : {
        "多形红斑" : 0.992,
        "急性荨麻疹" : 0.0019,
        "玫瑰糠疹" : 0.0053
      }
    },
    "Question" : "请描述一下您的病情?",
    "AnswerType" : "text",
    "SessionId" : "7fa1fcaa9a5845d5906f5648d6de284f"
  },
  "Code" : ""
}

错误码

关于医学智能问答的错误码。详情请参见常见错误码

安全声明

  • 请确保上传的图片或文件来源符合相应的法律法规。
  • 通过体验调试上传的临时文件有效期为1小时,在24小时后会被系统自动清理删除。