LLM(大语言模型)常用评测指标之F1-Score

F1-Score

F1-Score 是一种常用于评估分类模型性能的指标，特别是在数据不平衡的情况下。它是精确度 (Precision) 和召回率 (Recall) 的调和平均值，用于衡量模型对正类的预测能力。

计算方法

1. 精确度 (Precision)：是指正确预测为正类的数量与所有预测为正类的数量之比。它反映了模型预测正类的准确性。
   $$Precision=\frac{TP}{TP+FP}$$

   其中，TP (True Positives) 是真正类的数量，FP (False Positives) 是假正类的数量。

2. 召回率 (Recall)：是指正确预测为正类的数量与实际正类的数量之比。它反映了模型找出正类的能力。
   $$Recall=\frac{TP}{TP+FN}$$

   其中，FN (False Negatives) 是假负类的数量。

3. F1-Score：是精确度和召回率的调和平均值，用于平衡精确度和召回率。
   $$F1=2\times \frac{Precision\times Recall}{Precision+Recall}$$

应用场景

F1-Score 通常用于评估分类模型，尤其是在正负类样本不平衡的情况下。它帮助衡量模型对少数类的预测能力，因此在医学诊断、欺诈检测、文本分类等领域被广泛使用。

示例

假设一个二分类模型的混淆矩阵如下：

• 精确度 (Precision) = 80 / (80 + 30) = 0.727
• 召回率 (Recall) = 80 / (80 + 20) = 0.8
• F1-Score = 2 * (0.727 * 0.8) / (0.727 + 0.8) = 0.761

因此，该模型的 F1-Score 为 0.761，反映了模型在平衡精确度和召回率方面的性能。