創発的能力 - 予想外の賢さが現れる

あんずさん、そこが今日の罠よ。
じつは大きくすると「連続的にじわじわ」賢くなるだけでなく、ある規模を超えた瞬間に、突然?
新しい能力が現れる現象があるの。
これが創発的能力?
(Emergent Abilities)よ。

ゆきさん、話が長くなりそうよ?
ふふっ。
具体例から行きましょうか。
たとえばChain-of-Thought?
推論。
「段階的に考えて」と促すと数学問題の正答率が大きく上がる、という性質は、小さなモデルではほとんど効かないの。
ある規模を超えたモデルでだけ、急に効き始めるわ。

そういう懸念もあるし、学術的には「評価指標の問題で、実は連続的に改善している」という反論もあるの。
Stanford 大学の2023年の論文で、正答率の閾値関数を使うと突然に見えるだけ、と指摘されたわ。

あんずさん、今のたとえ完璧よ!

いい比喩ね。
試験では「創発的能力=規模がある閾値を超えると現れる能力」というコア定義を押さえればOK。
Chain-of-Thought や命令追従力が代表例よ。

ゆきさんの補足、重要ね。
技術と社会は別個に議論できない時代に入っているの。
試験では「創発=規模閾値超えで現れる能力」「Chain-of-Thought が代表例」の2点を確実に覚えて、反論説があることも頭の片隅に入れておくと応用問題でも迷わないわよ。
そして企業や研究者が「次のモデルでは何が出来るか」と注目する理由でもあるの。