搜索效果评估方法

import json
import os
from typing import Optional, List

import numpy as np
from deepeval.metrics import BaseMetric, ContextualRelevancyMetric
from deepeval.metrics.contextual_relevancy.template import ContextualRelevancyTemplate
from deepeval.models import DeepEvalBaseLLM
from deepeval.test_case import LLMTestCase
from langchain_community.llms.tongyi import Tongyi


class ContextualRelevancyWrapper(BaseMetric):
    def __init__(self):
        qwen_model = QwenModel(
            model_name="qwen2-72b-instruct",
            temperature=0.2,
            top_p=0.8
        )
        self.delegate = ContextualRelevancyMetric(
            threshold=0.5,
            model=qwen_model,
            include_reason=True,
            async_mode=False
        )

    def response_detail(self) -> dict:
        verdicts = [
            dict(verdict=verdict.verdict, reason=verdict.reason) for verdict in self.delegate.verdicts
        ]
        ap = self.calculate_average_precision([verdict['verdict'] for verdict in verdicts])
        detail = dict(
            reason=self.delegate.reason,
            average_precision=ap,
            success=self.delegate.success,
            verdicts=json.dumps(verdicts, indent=4, ensure_ascii=False)
        )
        return detail

    def measure(self, test_case: LLMTestCase, *args, **kwargs) -> float:
        return self.delegate.measure(test_case=test_case, *args, **kwargs)

    async def a_measure(self, test_case: LLMTestCase, *args, **kwargs) -> float:
        return await self.delegate.a_measure(test_case=test_case, *args, **kwargs)

    def is_successful(self) -> bool:
        return self.delegate.is_successful()

    def calculate_average_precision(self, verdicts: List[str]):
        """
        计算mAP
        :param verdicts: ["yes", "no", "no"]
        :return:
        """
        verdict_list = np.array([1 if verdict == "yes" else 0 for verdict in verdicts])
        denominator = sum(verdict_list) + 1e-10

        numerator = sum(
            [
                (sum(verdict_list[: i + 1]) / (i + 1)) * verdict_list[i]
                for i in range(len(verdict_list))
            ]
        )

        score = numerator / denominator
        return score


class QwenModel(DeepEvalBaseLLM):
    def __init__(
            self,
            model_name: str = "qwen2-72b-instruct",
            dashscope_api_key: Optional[str] = None,
            **kwargs
    ):
        self.model_name = model_name

        dashscope_api_key = dashscope_api_key or os.environ.get("dashscope_sk")
        self.model = Tongyi(model=model_name, api_key=dashscope_api_key, **kwargs)
        self.kwargs = kwargs

    def load_model(self, *args, **kwargs):
        return self.model

    def generate(self, prompt_str: str) -> str:
        return self.model.invoke(prompt_str)

    async def a_generate(self, prompt_str: str) -> str:
        try:
            return await self.model.ainvoke(prompt_str)
        except Exception as e:
            print(f"Failed in invoke: {e}\nTraceback:\n{e}")
            return ""

    def get_model_name(self, *args, **kwargs) -> str:
        return self.model_name


class CustomContextualRelevancyTemplate:
    @staticmethod
    def generate_reason(input, irrelevancies, score):
        return f"""Based on the given input, reasons for why the retrieval context is irrelevant to the input, and the contextual relevancy score (the closer to 1 the better), please generate a CONCISE reason for the score.
In your reason, you should quote data provided in the reasons for irrelevancy to support your point.

** 
IMPORTANT: Please make sure to only return in JSON format, with the 'reason' key providing the reason, reason field must return in **Chinese**.
Example JSON:
{{
    "reason": "得分为 <contextual_relevancy_score>，因为 <YOUR_REASON>。"
}}

If the score is 1, keep it short and say something positive with an upbeat encouraging tone (but don't overdo it otherwise it gets annoying).
**


Contextual Relevancy Score:
{score}

Input:
{input}

Reasons for why the retrieval context is irrelevant to the input:
{irrelevancies}

JSON:
"""

    @staticmethod
    def generate_verdict(text, context):
        return f"""Based on the input and context, please generate a JSON object to indicate whether the context is relevant to the provided input. The JSON will have 1 mandatory field: 'verdict', and 1 optional field: 'reason'.
The 'verdict' key should STRICTLY be either 'yes' or 'no', and states whether the context is relevant to the input. 
Provide a 'reason' ONLY IF verdict is no. You MUST quote the irrelevant parts of the context to back up your reason.

**
IMPORTANT: Please make sure to only return in JSON format.reason field must return in **Chinese**
Example Context: "爱因斯坦因发现光电效应而获得诺贝尔奖。他在1968年获得了诺贝尔奖。那里有一只猫。"
Example Input: "爱因斯坦的一些成就是什么？"

Example:
{{
    "verdict": "no",
    "reason": "虽然上下文包含有关爱因斯坦获得诺贝尔奖的信息，但不相关地提到“那里有一只猫”，这与爱因斯坦的成就无关。"
}}
**

Input:
{text}

Context:
{context}

JSON:
"""


def patch_contextual_relevancy():
    ContextualRelevancyTemplate.generate_reason = CustomContextualRelevancyTemplate.generate_reason
    ContextualRelevancyTemplate.generate_verdict = CustomContextualRelevancyTemplate.generate_verdict


if __name__ == '__main__':
    patch_contextual_relevancy()
    cr_metric = ContextualRelevancyWrapper()
    testcase = LLMTestCase(
        input="小狗贫血的表现",
        actual_output="",
        retrieval_context=[
            "狗狗贫血的主要症状包括：<br>1. 身体消瘦、毛发粗糙无光泽、体力较差，活动时间短、运动无力。<br>2. 皮肤和可视黏膜苍白，如舌头颜色变粉红或苍白，牙龈苍白。<br>3. 精神不振、嗜睡、经常出现走路摇晃、倒地后起立困难、卧地不起等症状。<br>4. 食欲不振、日常可能会晕倒、身体虚弱等。<br>如果发现狗狗出现以上症状，建议及时带狗狗去兽医院进行检查和治疗。在日常生活中，可以通过改善饮食结构、补充造血物质和营养品等方法来帮助狗狗改善贫血状况。",
            "狗狗一直饿可能是由以下几种原因导致的：<br>1. 喂食量不足：如果狗狗每次的喂食量太少，即使一天喂5次，也可能导致狗狗吃不饱。狗狗一天的喂食总量一般是根据体重来确定的，一般按照狗狗体重的3%- 5%喂食。<br>2. 幼犬对吃饱没有太大概念，少量多次喂食，且对于好吃的食物没有抵抗力，此时并不是因为饿，只是馋。<br>3. 糖尿病问题：如果是中老年犬出现长期饥饿的情况，可能是糖尿病或其他疾病引起的多饮多食、体重减轻的症状，建议及时带狗狗去宠物医院检查。<br>4. 饮食不均衡或者不足：如果狗狗的饮食缺乏必要的营养成分，或者狗狗没有得到足够的食物，那么他们就会变得更饥饿。<br>5. 狗狗处于生长期：如果狗狗还很小，或者正处于生长期，那么他们需要更多的食物来支持他们的身体发育。<br>6. 狗狗在锻炼或者活动后饥饿：如果狗狗进行了大量的锻炼或者活动，那么他们会消耗更多的能量，因此可能会感到更饥饿。<br>如果狗狗一直处于饥饿状态，建议带它去看兽医，以确定是否存在任何潜在的健康问题。",
            "狗狗如果出现了贫血，<em>它会看上去很没有精神，也没有食欲，身体变得消瘦而且毛发还非常的枯燥，</em>引起狗狗贫血有三方面的原因。 导致狗狗贫血的原因是多方面的，主人一旦发现狗狗没有食欲精神不好，就要及时采取措施给予狗狗营养的补充。",
            "1、牙龈、眼睑、结膜等皮肤黏膜都会从粉红色、淡粉色，变淡变白。 2、在<em>贫血</em>初期出现嗜睡，出门散步<em>表现</em>得过度喘息、有气无力，容易疲倦。 3、食欲减退、废绝，体重下降快，毛发干枯发黄，无光泽。 4、<em>贫血</em>后期会出现运动无力、摇晃、起身困难、呼吸困难、全身衰竭。",
            "小狗肚子饿了，<em>最多也就是发出比较轻微的呜咽声。</em>像个婴儿一样，声音虽不大，但是听上去很可怜。 幼犬的自理能力比较差，所以主人要做到准时喂食，一般3~5小时就要喂一次。 把食盆叼过来给主人 狗狗一大早起来就肚子饿了，但是看到主人还在睡，自己也不敢发出很大的声响。 把食盆叼过来给主人 狗狗一大早起来就肚子饿了，但是看到主人还在睡，自己也不敢发出很大的声响。 就会选择叼着一个狗碗去找主人，示意你该喂狗粮了，主人再想赖床也不行了。",
            "<em>临床表现为呼吸加快、全身无力等特征。</em>狗狗贫血和发炎，通过血检的血球容积比、血色素可以判断。数值低下时会引起贫血，数值升高时就是正在发炎，不过当免疫力降低时，就算白血球没有增加，也有可能正在发炎。",
        ],
    )
    score = cr_metric.measure(testcase)
    detail = cr_metric.response_detail()
    print(f"score:{score}, mAP:{detail['average_precision']}")
    print(f"detail_verdicts:{json.dumps(json.loads(detail['verdicts']), indent=4, ensure_ascii=False)}")

score:0.6666666666666666, mAP:0.7708333333140625
detail_verdicts:[
    {
        "verdict": "yes",
        "reason": null
    },
    {
        "verdict": "no",
        "reason": "上下文中没有提到小狗贫血的表现，而是详细描述了狗狗可能一直感到饥饿的原因，这与输入的小狗贫血的表现无关。"
    },
    {
        "verdict": "yes",
        "reason": null
    },
    {
        "verdict": "yes",
        "reason": null
    },
    {
        "verdict": "no",
        "reason": "上下文中没有提到小狗贫血的表现，而是提到了小狗肚子饿的行为，这与输入的问题无关。"
    },
    {
        "verdict": "yes",
        "reason": null
    }
]