単語の埋め込み表現(Word Embedding)

あんずさん、そこは意外と違うのよ。
コンピュータにとって文字は単なる記号の列。
「犬」と「木」の意味的な近さは、そのままでは計算できないの。
だから単語を数値の列——ベクトル?
——に変換する必要があるわ。
これがエンベディング?
、日本語では埋め込み?
と呼ぶの。

イメージは近いわ。
たとえば「犬」を [0.2, 0.8, -0.1, 0.4, ...] のような100〜数千次元の数字の列で表すの。
人間の目には無意味な数字だけど、計算機は距離が測れる。

それはWord2Vec?
で有名になった例ね。
単語の意味関係がベクトルの足し引きで表現できる、と示したの。
ふふ、あんずさんよく覚えてたわね。

そう、埋め込みはLLMの入り口であり、ベクトルDB?
やセマンティック検索?
の基礎でもあるの。
「車のトラブル」で検索したら「自動車の故障」もヒットする、という検索方式を支えているのよ。

あらあら、あんずさんも同調しちゃうのね。
埋め込みは地味だけど、LLM・画像生成・推薦システム・RAG まで幅広く支える基盤技術よ。