分類モデルの確率補正

更新日:2021年4月28日

スパムメールやクレジット詐欺を見分けるタスクなどを学習した 分類モデルが出力する予測値は通常 (0, 1) の範囲内に収まり、 予測確率とも呼ばれるので、 うっかり正例であるクラス確率だと 思い込みかねません。

実運用では、閾値を設けて、予測値がその閾値を超えるかどうかで判断を下したりします。 予測値がクラス確率であるかどうかによって、閾値の意味も大きく変わってきます。

スパムメール分類モデルの場合、真のクラス確率を学習したのなら、 90% という予測値が出力されたような100通のメールのうち、 90通が本当にスパムメールだろうと期待されます。 本当のスパムメールの数が90を下回ったらモデルの自信過剰、 上回ったら自信不足と言えます。

モデルの予測値が真の確率とどのくらい乖離しているのか図り、 予測値を真の確率に近づける補正方法を実験してみましょう。


ライブラリの用意

sklearn を使って信頼性曲線を書いたり確率補正します。 補正前のベースモデルとしては LightGBM を使います。 図形は Matplotlib と Plotly で作ります。


サンプルデータ

簡単な実験データとして、 sklearnを使って、 円を指定し、その内側を正例として、外側を負例とします。 ノイズを投入したり、正例の割合を減らしてデータを不均衡化しています。 実験データを学習用・補正用・試験用に分けました。


上図では赤い点が正例で、青い点が負例です。黄色い円が正・負の境界線ですが、ノイズによってラベルが反転したサンプルが紛れています。


モデル学習

LightGBMモデルで学習データにフィットし、試験データでメトリック AUC, Brier を図り、信頼性曲線を書いてみます。

AUCスコア sklearn.metrics.auc は、予測値大小関係(ランキング)の精度を図りますが、 Brierスコア sklearn.metrics.brier_score_loss は予測値と実測値(実際のラベル)の近さを図ります。信頼性曲線を描くには、まず試験データに対する予測値を昇順に便宜上10ビンに分けます。それぞれのビンで予測値の平均を横座標に、実際のラベルの平均(つまり正例の比率)を縦座標に点をプロットします。これらの点を繋げると信頼性曲線になります。理想的な補正がされた場合、予測値の平均が正例の比率に一致し、傾き45%の「完全な補正」直線になります。学習したLightGBMモデルの予測値の信頼性曲線は理想的な補正直線に沿っています。

次に、LightGBMの is_unbalance フラッグをオンにしてみましょう。


LightGBMの is_unbalance フラッグは、不均衡データに効き、AUCスコアなどの改善が期待できます。しかし、上図のように予測値がクラス確率から乖離していて、モデルが概ね自信過剰になっています。


確率補正の実施

最初に学習データの一部を確率補正用に分けてあります。補正前のベースモデルの学習データと、補正用のデータを分けないと補正時にオーバーフィットが起こってしまうためです。


補正するためにsklearn.calibration.CalibratedClassifierCVを使います。 cv = "prefit" と指定することによって、ベースモデルが学習済みであり、補正モデルに渡すデータは全量補正用であることを伝えます。補正方法は今回 isotonic を使ってみましょう。


補正前と補正後のモデルの信頼性曲線を同じ図に書いて比較してみましょう。


補正の結果、信頼性曲線がより理想な傾きに近づき、Brierスコアも改善されました。実運用では、補正用のデータが学習用のデータと完全に分離されたり、データ鮮度がより高かったりして、AUCなどモデルのパフォーマンススコアの改善につながることもあります。


最後に

分類モデルの出力値が必ずしもクラス確率とは限らないので、信頼性曲線を確認したり、確率補正を行ってみました。

次回は、sklearnが規定しているインタフェースを持たない学習済みモデルの補正実験や、 確率補正に関する背景的な理論について書ければと思います。


実行可能な Jupyter Notebook はこちらです。

124回の閲覧0件のコメント