ROC曲線とAUC - モデルの総合力を測る

クイズよ。
『AUCが1.0のモデル』はどんな性能? 完璧・ランダム・最悪・不明の4択。

まずROC曲線?
(Receiver Operating Characteristic Curve)はね、分類モデルの『しきい値』を動かしたときに、真陽性率(TPR=Recall)と偽陽性率(FPR)がどう変わるかを描いた曲線よ。

ロジスティック回帰みたいに『確率0.5以上なら陽性』と判定する時の『0.5』のこと。
この値を0.1にしたり0.9にしたりすると、検出の敏感さが変わるの。

そして曲線の下の面積がAUC?
(Area Under the Curve)。
最大値1、ランダム予測では0.5、逆に判定してしまうモデルは0に近づくわ。
とってもシンプルな総合スコアなのよ。

そう。
AUCは『しきい値を変えても、どれだけ良い分類ができるかの平均的な力』を1つの数字でまとめているわ。
モデル同士を単純比較したい時に便利ね。

不均衡データの評価でもAUCは重宝されるわ。
正解率だけでは見えない性能を数値化できるの。

現実のAI評価では、ビジネス上のコスト(誤検出の損失、見逃しの損失)も加味してしきい値を調整するの。
モデルの性能指標はあくまで判断材料ね。

正解。
試験では『ROC曲線のTPRとFPR』『AUCは1が最高・0.5がランダム』を押さえて。