エッジAI - 端末で動くAI

ももさん、いい観察!
それが今日のテーマエッジAI?
よ。
ネットワークの末端、つまりスマホ・PC・カメラ・ロボットなどの端末(エッジデバイス)を指すの。
通常の生成 AI はクラウド上の巨大サーバで動くけど、エッジAI は端末上で直接動くわ。

端末の計算能力が LLM レベルを動かせるほど発達してきたのが、ここ数年の話だから。
そして前回扱った量子化?
や蒸留で小型軽量化したモデルを使うのが鍵よ。

その通り。
代表的なものに Apple のオンデバイスAI(Apple Intelligence)、Google のGemini Nano?
、Microsoft のPhi シリーズ、さらにオープンソースの Llama 3.2 1B/3B などがあるわ。
Microsoft の Phi-3.5 や Google の Gemma 2 2B など、数十億パラメータ級で GPT-3.5 相当の能力を持つSLM?
(Small Language Model)が、スマホでも現実的に動くようになっているの。

あらあら、みんな同時に驚いてる。
ふふ、そう、もうそこまで来ているの。
そして興味深いのが、クラウドとエッジのハイブリッド運用。
簡単な処理はエッジで即応答、複雑な処理はクラウドに投げる——みたいな使い分けが増えているわ。

あんずさんの理解で完璧。
試験では「エッジAI=端末で動く AI」「4つのメリット(低遅延・プライバシー・オフライン・コスト)」「量子化・SLM で実現」の3点を押さえておきましょう。