つむぎが知識を披露しすぎて迷走する回。事前学習モデルとは何かを、ましろの素朴な救いのおかげで整理していきます。生成AI時代の基礎知識として必須の概念です。
深見 つむぎ
事前学習モデルにはImageNetで学習したResNetや、大量テキストで学習したBERT、それからGPTやCLIPやViTやDALL-Eや……あとはStable Diffusionや……
戸倉 ジャスミン
つむぎ、つむぎ、ちょっと待ってって! 固有名詞が多すぎてあたし全然ついていけないじゃん……順番に頼むよ〜。
深見 つむぎ
あっ、ごめんなさい……つい暴走しちゃったわ。
雪村 ましろ
ふぇぇ、つむぎちゃんが物知りなのは分かったからぁ、ましろにも分かるように教えてほしいですぅ。
香月 リサ 先生
ふふ、ましろさんが素朴に救ってくれたわね。
整理しましょう。
事前学習モデルとは、『誰かが大量のデータを使って汎用的な知識を先に学ばせたモデル』のことよ。
パラメータを計算し直す必要がないから、私たちは肩に乗るだけで済むの。
戸倉 ジャスミン
あー、『巨人の肩に乗る』ってやつじゃん! 先人のすごい成果をそのまま使わせてもらうってこと? めっちゃ効率いいじゃん!
香月 リサ 先生
そのとおりね。
ImageNetで学習したResNetを使えば、自分の犬種分類タスクにわずか1000枚の画像で高精度を出せることも珍しくないわ。
個人や中小企業でも最先端技術にアクセスできるのが革命的なの。
深見 つむぎ
つまり、事前学習 (大量データで汎用知識) + ファインチューニング (個別タスクへの微調整) の2段階で作るのが現代の定石なんですね。
雪村 ましろ
おばあちゃんが一から出汁を取らないで、市販の出汁パックを使う感じですぅ?
香月 リサ 先生
わかりやすい例えね、ましろさん。
事前学習モデルはHuggingFaceなどのプラットフォームで数多く公開されていて、誰でも利用できるの。
これがAIの民主化を加速させているわ。
深見 つむぎ
最近はLLMの事前学習に必要な電気代や計算資源が数億円〜数十億円規模で、個人や小企業が自前で訓練するのは現実的ではありません。
だからこそ事前学習モデルを借りる形が標準になっています。
戸倉 ジャスミン
うわっ、ヤバい規模じゃん……。
そりゃもう先人の肩を借りるしかないって!
香月 リサ 先生
ただし肩に乗るだけでなく、ライセンスを確認することも大事よ。
商用利用可か、改変して配布していいか、出典表示が必要かなど、モデルごとに条件が違うの。
深見 つむぎ
Metaのオープンソースモデル、Stability AIのモデル、OpenAIのAPI提供モデル、それぞれライセンスが異なります。
ビジネス利用ならここを押さえないと痛い目を見ますね。
雪村 ましろ
助けてもらうにも、ちゃんとマナーを守らなきゃですぅ〜。
確認クイズ
事前学習モデルのメリットとして最も適切なものはどれか?
- データ収集が不要になる
- 汎用的な知識を活用して効率的に高性能モデルを構築できる
- 学習が完全に不要になる
- どんなタスクでもそのまま使える
こたえを見る
正解: 2. 汎用的な知識を活用して効率的に高性能モデルを構築できる
事前学習モデルは大量データから獲得した汎用知識を持っているため、それを土台にすることで少量データ・短時間で高性能モデルを構築できます。ただし個別タスクへの適応 (ファインチューニング等) は必要です。
