ロジスティック回帰 - 確率で分類する
ロジスティック回帰とシグモイド関数の基本を理解しよう。
天気予報の『明日の降水確率70%』のような確率表現、実は機械学習でも活躍します。名前が紛らわしい『ロジスティック回帰』は、実は分類の王道。その秘密を解き明かします。
胡桃 あんず
天気予報、『降水確率80%』って言うじゃん。
あれって『降る/降らない』じゃなくて確率で言うのがミソだよね。
若葉 みどり 先生
いい着眼点ね、あんずさん。
まさに今日やるロジスティック回帰の発想に近いのよ。
白銀 ゆき
つまり、ロジスティック回帰は出力を0から1の確率に変換して、2クラス分類に使うアルゴリズムですね。
名前に『回帰』とついていますが、実際には分類手法です。
桜井 もも
え〜っ、回帰なのに分類〜? 名前詐欺です〜!
若葉 みどり 先生
ふふ、そう感じるわよね。
歴史的な経緯から名前はこうなっているけれど、用途は分類。
試験の引っかけポイントだから要注意よ。
胡桃 あんず
どうやって確率に変換するの?
白銀 ゆき
線形回帰の出力をシグモイド関数に通します。
これは入力がいくつであっても出力を0〜1の範囲に押し込めるS字カーブの関数です。
補足すると、数式は f(x)=1/(1+exp(-x)) です。
桜井 もも
S字…?
若葉 みどり 先生
入力が大きいと1に近づき、小さいと0に近づく、真ん中(0)なら0.5になるわ。
2クラス分類では『0.5以上なら陽性、未満なら陰性』と判定するのが典型ね。
胡桃 あんず
確率で答えてくれるのが強みなんだ〜、すご〜い!
例えば『あなたがこの病気の可能性は73%』みたいに言えるじゃん!
白銀 ゆき
その通りです。
医療診断、スパム判定、マーケティングなど、確率情報が重要な場面で重宝されます。
また線形回帰の延長線上にあるため、係数を見れば各特徴量の寄与度も解釈しやすいのが強みです。
若葉 みどり 先生
弱点は『線形分離ができないデータには弱い』こと。
曲がった境界が必要ならSVMのカーネルやニューラルネットワークに軍配が上がるわ。
桜井 もも
うぅ〜ん…、名前と実態がズレてて覚えにくいよぉ…。
胡桃 あんず
ここ試験に出そうじゃん!
『回帰』って名前なのに分類に使うって、引っかけ問題で出てきそう!
白銀 ゆき
実はロジスティック回帰は、深層学習の『出力層でsoftmaxを使う』という部分の原型でもあります。
大規模なニューラルネットワークの最後に組み込まれている技術の原点がこれ、と言えます。
若葉 みどり 先生
いい補足ね。
多クラス分類に拡張した『softmax回帰』もあって、LLMの次トークン予測の最終層でも同じ発想が使われているわ。
胡桃 あんず
うそっ!?
生成AIにも繋がってるの?
ロジスティック回帰、意外と奥深いじゃん!
桜井 もも
シンプルな部品が最先端で使われてるって、ロマンがありますねぇ〜。
胡桃 あんず
基礎って本当に大事なんだね。
手抜きで覚えたら、あとあと深層学習で困りそうじゃん。
白銀 ゆき
ロジスティック回帰は解釈性も高く、医療分野では今でも第一選択のモデルとして使われています。
最新技術が常に正解とは限らないのが面白いところです。
若葉 みどり 先生
試験では『シグモイド関数で0〜1の確率に変換』『名前は回帰だが分類に使う』の2点をセットで押さえて。
確認クイズ
ロジスティック回帰で使われるシグモイド関数の役割は何か?
- データの次元を減らす
- 出力を0〜1の確率に変換する
- 決定木を構築する
- データをクラスタリングする
こたえを見る
正解: 2. 出力を0〜1の確率に変換する
シグモイド関数はS字型カーブで、どんな入力値も0〜1に押し込める性質があります。ロジスティック回帰ではこれで線形モデルの出力を確率に変換し、分類に使います。深層学習の出力層でもよく使われます。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ