LLMの学習方法 - 事前学習の仕組み
LLMはどうやって学習するのか。大量データを使った事前学習の仕組みを解説します。
若葉 みどり 先生
今日は LLM がどう学習するかを、根本から見ていきましょう。
大きく事前学習とファインチューニング(微調整)の2段階があるの。
今日は事前学習編ね。
白銀 ゆき
事前学習は Self-Supervised Learning(自己教師あり学習)でしたね。
詳しく説明すると、テキスト w₁…wₙ があったとき、ある位置の単語 wₜ を予測するのに前の文脈 w₁…wₜ₋₁ を使う対数尤度最大化で——というのが数式的な定式化で——
胡桃 あんず
あー、またゆきちゃんが数式モードに入ろうとしてる!
桜井 もも
ゆきちゃん、落ち着いて〜?
ふふっ。
若葉 みどり 先生
あらあら、ゆきさん、深掘りしたい気持ちはよく分かるけど、まずは直感から行きましょうか?
ざっくり言うとね、事前学習では「インターネット上の膨大なテキストを読ませて、次の単語を当てさせる」ことを何兆回も繰り返しているだけなのよ。
白銀 ゆき
…ご、ごめんなさい、つい癖で。
胡桃 あんず
えっ、ほんとにそれだけ?
シンプルじゃん。
それで何で賢くなるの?
若葉 みどり 先生
不思議でしょ?
でも、「次の単語を当てる」には文法・語彙・常識・推論・世界知識が必要になるの。
「水の沸点は100度です。
なぜなら——」の次を当てるには物理知識が要るでしょ?
単純な予測タスクの副産物として、様々な知識が自然に獲得される——これを創発的能力の源泉と見る研究者もいるわ。
白銀 ゆき
つまり、人間がラベルを付ける必要がないから、ネット上のテキストをそのまま教材にできるのが自己教師あり学習の強み——これが LLM を大規模化できた理由ですね。
桜井 もも
でも、学習するにはすっごくお金がかかるって聞いたけど…
若葉 みどり 先生
鋭いわね。
何千台もの GPU を何週間も動かすから、電気代とハード代だけで数億〜数十億円かかると言われているわ。
GPT-4 の学習費用は1億ドル以上とも推定されているの。
だからこそ、事前学習は大企業や巨大研究機関が行って、私たちは API やオープンソースモデル経由、あるいは後述のLoRAなどで微調整する形が主流よ。
胡桃 あんず
えっ、ほんと?
個人じゃ絶対無理じゃん!
失敗したらウン億円飛ぶってこと?!
うわぁ、プレッシャーやばすぎ!
白銀 ゆき
補足ですが、事前学習のコストは「計算量 × データ量 × モデル規模」の積で決まり、これを最適に配分する経験則がChinchilla則として知られています。
ゆえに事前学習のノウハウ自体が各社の競争優位の源泉なんですね。
学習スケジュール・データ混合比・学習率カーブなど、細かいレシピは公開されないことが多いです。
若葉 みどり 先生
その通り。
その中で、Meta の LLaMA や Mistral がオープンに重みを公開してくれたのは、学術・実務の両面でとても大きな恩恵だったわ。
試験では「事前学習=次単語予測による自己教師あり学習」「規模と計算量の比例関係」「ファインチューニングと2段階」を押さえて。
1回の ChatGPT 応答の裏には、数か月の学習と億単位の投資が結晶している、と思うと AI に対する見方も変わるでしょ?
確認クイズ
LLM の事前学習の手法として最も適切なものはどれか。
- 教師あり学習で正解ラベルを使う
- 自己教師あり学習で次の単語を予測する
- 強化学習で報酬を最大化する
- 教師なし学習でクラスタリングする
こたえを見る
正解: 2. 自己教師あり学習で次の単語を予測する
LLM の事前学習は、テキストデータ自体を教師信号として「次の単語を予測する」自己教師あり学習で行われます。正解ラベル不要、強化学習やクラスタリングとは別手法です。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ