了解分类任务的评估指标

打不死的小强

5年前

在解释分类指标之前的一个关键概念是该过程如何工作。你有三个数据集。它们是训练集，验证集和测试集。

训练集：使用训练集中的数据构建模型。您，模型，从此数据集中的输入中学习。
验证集：有几种方法可以获得验证集。一种简单的方法是删除部分数据并将其作为验证集。因此，当您训练模型时，模型尚未从验证集中学习。验证集指示您的训练集的执行情况。您还可以使用验证集调整超参数，因为您知道正确的答案。
测试集：测试集通常远不及数据科学家。在此步骤中测试我们的模型表明我们的模型执行得有多好。

我在Jupyter Notebook中创建了一个随机数据帧。我们在验证集中。我们的客户将为我们提供一个新的数据集（测试集）。我们的目标是获得最佳表现。

你的表现是什么意思？

我将演示我们的分类模型如何衡量绩效。在决定如何衡量绩效时存在细微差别。但首先，让我们创建一个0和1的数据帧。

我们还需要知道这些定义：

为了获得这些指标的出色视觉效果，我们将使用混淆矩阵。在Python中，sklearn库使得创建混淆矩阵非常容易。

如果我们回顾一下定义：

“这是伟大的亚历克斯，但还没有讨论过表现！”

正确。但我们现在有了继续进行的信息。我将解释准确度，精确度，召回率（灵敏度），F1分数，特异性，对数损失和ROC / AUC曲线。

准确性

式：

准确性似乎可能是最好的方法。在我们的例子中，我们的准确率为91.4％。得分很高。那么为什么不使用呢？

我的想法：

准确性仅在两种可能的结果（电子邮件是否为垃圾邮件）相等时才有效。例如，如果我们有一个数据集，其中5％的电子邮件是垃圾邮件，那么我们可以遵循不太复杂的模型并获得更高的准确度分数。我们可以将每封电子邮件预测为非垃圾邮件，并获得95％的准确度分数。不平衡数据集可以提供准确性，而不是可靠的性能指标。解释的悖论是指“ 准确性悖论 ”，

这两个性能指标经常结合使用。

精确

式：

精确地说，我们通过“积极”预测的表现来评估我们的数据。我们对电子邮件示例的精确度为92.61％！请记住，我们示例中的“正面”是预测电子邮件是垃圾邮件。

考虑精确积极预测的准确性。

召回（也称为灵敏度）

式：

通过召回，我们通过其积极成果的基本事实的表现来评估我们的数据。意思是，当结果为正时，我们判断预测为正。我们对电子邮件示例的召回率为90.83％！

我的想法：

你不可能拥有两全其美的优势。在我们的电子邮件示例中，我们具有高精度和召回分数。但是，需要权衡利弊。想一想。精度的分母是TP + FP。它不考虑FN。因此，如果我们只做了一个正面预测，并且是正确的，那么我们的精确分数将是1.尽管如此，我们可能错过了许多实际的积极观察。
另一方面，Recall的分母是TP + FN。它没有看到我所做的所有自信预测。我们可以预测所有电子邮件都是垃圾邮件。因此，我们将Recall评分为1，因为我们预计每个例子都是正数，而我们的FN将为0（我们不预测非垃圾邮件）。

此外，它取决于你是否应该使用精确或召回的情况。在某些情况下，您最好采用高召回率。

如果您将每封电子邮件标记为垃圾邮件，则会召回1.为什么？因为您预测电子邮件是垃圾邮件。由于您没有预测电子邮件是非垃圾邮件，因此您无法使用假阴性。但是，您也会错误地将垃圾邮件预测为非垃圾邮件。
如果您预测一封电子邮件是垃圾邮件，并且您做得对，那么您的精确度将是1.为什么？因为没有误报。但是，你会遗漏很多预测。

还有一个不太常见的性能指标：特异性。

特异性与Sensitivity或Recall相反。因此，公式为TN /（TN + FP）。