Metrics

5.2 Метрики качества

Из матрицы ошибок \((TP, TN, FP, FN)\) при \(N = TP + TN + FP + FN\):

Метрика	Формула	Диапазон
Accuracy	\(\dfrac{TP + TN}{N}\)	\([0, 1]\)
Precision	\(\dfrac{TP}{TP + FP}\)	\([0, 1]\)
Recall (Sensitivity)	\(\dfrac{TP}{TP + FN}\)	\([0, 1]\)
Specificity	\(\dfrac{TN}{TN + FP}\)	\([0, 1]\)
Balanced Accuracy	\(\dfrac{1}{2}(\text{Recall} + \text{Specificity})\)	\([0, 1]\)
F1	\(\dfrac{2 \cdot P \cdot R}{P + R}\)	\([0, 1]\)
MCC	\(\dfrac{TP \cdot TN - FP \cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}\)	\([-1, 1]\)
Informedness	\(\text{Recall} + \text{Specificity} - 1\)	\([-1, 1]\)
Markedness	\(\text{Precision} + \text{NPV} - 1\)	\([-1, 1]\)
Brier Score	\(\dfrac{1}{N}\sum_b (p_b - y_b)^2\)	\([0, 1]\) (↓ лучше)
ROC-AUC	трапециевидная интеграция по порогам	\([0, 1]\)
PR-AUC	интеграция Precision-Recall	\([0, 1]\)
Log-loss	\(-\tfrac{1}{N}\sum_b [y_b \log p_b + (1-y_b)\log(1-p_b)]\)	\([0, \infty)\) (↓ лучше)

Fitness по умолчанию: balanced_accuracy — устойчива к дисбалансу классов (CIFAR-10: ~10% позитивных).

Допустимые значения fitness_metric: accuracy, balanced_accuracy, f1, mcc, precision, recall, informedness, roc_auc, pr_auc, ap, log_loss, brier_score, sweep_bal_acc, sweep_mcc, sweep_f1.

Sweep-метрики (sweep_bal_acc, sweep_mcc, sweep_f1): калибровка порога по 49 значениям \(\tau \in \{0.01, 0.03, \ldots, 0.99\}\) на val; выбирается лучший порог.

---