戸倉 ジャスミン
スケーリング則、めっちゃすごいと思ったけど、結局「大きくすればするほど同じ感じで賢くなる」だけってことでしょ?
香月 リサ 先生
ジャスミンちゃん、そこが今日の罠よ。
じつは大きくすると「連続的にじわじわ」賢くなるだけでなく、ある規模を超えた瞬間に、突然新しい能力が現れる現象があるの。
これが創発的能力(Emergent Abilities)よ。
戸倉 ジャスミン
え、急に?!
それは予想してなかったんだけど…
深見 つむぎ
これが大きな議論を呼びました。
小さいモデルには見られない能力が、一定規模を超えると出現します。
これは系の相転移に近い現象と解釈できるのか、それとも単なる評価指標の偏りなのか、という議論があって、特に2022〜2023年に——
香月 リサ 先生
つむぎさん、話が長くなりそうよ?
ふふっ。
具体例から行きましょうか。
たとえばChain-of-Thought推論。
「段階的に考えて」と促すと数学問題の正答率が大きく上がる、という性質は、小さなモデルではほとんど効かないの。
ある規模を超えたモデルでだけ、急に効き始めるわ。
深見 つむぎ
…す、すみません、つい夢中になってしまって。
雪村 ましろ
ふぇぇ…AI が急にレベルアップする瞬間があるんだぁ…RPGのジョブチェンジみたいだねぇ。
戸倉 ジャスミン
それってヤバくない?
制御できないレベルアップってことじゃん?
香月 リサ 先生
そういう懸念もあるし、学術的には「評価指標の問題で、実は連続的に改善している」という反論もあるの。
Stanford 大学の2023年の論文で、正答率の閾値関数を使うと突然に見えるだけ、と指摘されたわ。
深見 つむぎ
つまり、能力自体は徐々に向上していても、評価軸が二値(正解/不正解)だと急上昇に見える——ということですね。
戸倉 ジャスミン
あー、テストの合格ラインみたいなもんだね!
実力は少しずつ上がってるんだけど、70点以下は全部不合格扱いだから、急に合格者が増えたみたいに見えるってこと?
香月 リサ 先生
ジャスミンちゃん、今のたとえ完璧よ!
雪村 ましろ
でも、連続でも急でも、大きくすると予想以上の賢さが出るのは変わらないんだねぇ。
身体測定で急に身長が伸びる「成長期」みたいなものなのぉ?
香月 リサ 先生
いい比喩ね。
試験では「創発的能力=規模がある閾値を超えると現れる能力」というコア定義を押さえればOK。
Chain-of-Thought や命令追従力が代表例よ。
深見 つむぎ
補足: 創発議論は AI 安全性の観点でも重要で、「制御できない能力が予期せず現れるのでは」という懸念が EU AI Act などの規制にもつながっています。
最新モデルでは算数・計画立案・コード生成など、小型モデルには不可能な水準の能力が次々と現れています。
香月 リサ 先生
つむぎさんの補足、重要ね。
技術と社会は別個に議論できない時代に入っているの。
試験では「創発=規模閾値超えで現れる能力」「Chain-of-Thought が代表例」の2点を確実に覚えて、反論説があることも頭の片隅に入れておくと応用問題でも迷わないわよ。
そして企業や研究者が「次のモデルでは何が出来るか」と注目する理由でもあるの。
確認クイズ
LLM の創発的能力の説明として最も適切なものはどれか。
- 小さいモデルでも常に見られる能力
- モデルの規模がある閾値を超えると突然現れる能力
- ルールベースで定義された能力
- 学習データに明示的に含まれている能力
こたえを見る
正解: 2. モデルの規模がある閾値を超えると突然現れる能力
創発的能力は、モデルの規模がある閾値を超えたときに初めて現れる能力のことです。小規模でも見られる/ルールベース/明示的にラベル付けされた——はいずれも創発の定義から外れます。