事前学習モデル - 巨人の肩に乗る
大規模データで学習済みの事前学習モデルを活用する重要性と代表例を紹介します。
ゆきが知識を披露しすぎて迷走する回。事前学習モデルとは何かを、ももの素朴な救いのおかげで整理していきます。生成AI時代の基礎知識として必須の概念です。
白銀 ゆき
事前学習モデルにはImageNetで学習したResNetや、大量テキストで学習したBERT、それからGPTやCLIPやViTやDALL-Eや……あとはStable Diffusionや……
胡桃 あんず
ゆきちゃん、ゆきちゃん、ちょっと待ってって! 固有名詞が多すぎてあたし全然ついていけないじゃん……順番に頼むよ〜。
白銀 ゆき
あっ、ごめんなさい……つい暴走しちゃったわ。
桜井 もも
ふぇぇ、ゆきちゃんが物知りなのは分かったからぁ、ももにも分かるように教えてほしいですぅ。
若葉 みどり 先生
ふふ、ももさんが素朴に救ってくれたわね。
整理しましょう。
事前学習モデルとは、『誰かが大量のデータを使って汎用的な知識を先に学ばせたモデル』のことよ。
パラメータを計算し直す必要がないから、私たちは肩に乗るだけで済むの。
胡桃 あんず
あー、『巨人の肩に乗る』ってやつじゃん! 先人のすごい成果をそのまま使わせてもらうってこと? めっちゃ効率いいじゃん!
若葉 みどり 先生
そのとおりね。
ImageNetで学習したResNetを使えば、自分の犬種分類タスクにわずか1000枚の画像で高精度を出せることも珍しくないわ。
個人や中小企業でも最先端技術にアクセスできるのが革命的なの。
白銀 ゆき
つまり、事前学習 (大量データで汎用知識) + ファインチューニング (個別タスクへの微調整) の2段階で作るのが現代の定石なんですね。
桜井 もも
おばあちゃんが一から出汁を取らないで、市販の出汁パックを使う感じですぅ?
若葉 みどり 先生
わかりやすい例えね、ももさん。
事前学習モデルはHuggingFaceなどのプラットフォームで数多く公開されていて、誰でも利用できるの。
これがAIの民主化を加速させているわ。
白銀 ゆき
最近はLLMの事前学習に必要な電気代や計算資源が数億円〜数十億円規模で、個人や小企業が自前で訓練するのは現実的ではありません。
だからこそ事前学習モデルを借りる形が標準になっています。
胡桃 あんず
うわっ、ヤバい規模じゃん……。
そりゃもう先人の肩を借りるしかないって!
若葉 みどり 先生
ただし肩に乗るだけでなく、ライセンスを確認することも大事よ。
商用利用可か、改変して配布していいか、出典表示が必要かなど、モデルごとに条件が違うの。
白銀 ゆき
Metaのオープンソースモデル、Stability AIのモデル、OpenAIのAPI提供モデル、それぞれライセンスが異なります。
ビジネス利用ならここを押さえないと痛い目を見ますね。
桜井 もも
助けてもらうにも、ちゃんとマナーを守らなきゃですぅ〜。
確認クイズ
事前学習モデルのメリットとして最も適切なものはどれか?
- データ収集が不要になる
- 汎用的な知識を活用して効率的に高性能モデルを構築できる
- 学習が完全に不要になる
- どんなタスクでもそのまま使える
こたえを見る
正解: 2. 汎用的な知識を活用して効率的に高性能モデルを構築できる
事前学習モデルは大量データから獲得した汎用知識を持っているため、それを土台にすることで少量データ・短時間で高性能モデルを構築できます。ただし個別タスクへの適応 (ファインチューニング等) は必要です。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
AIパスポートスタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: GUGA 生成AIパスポート公式ページ