AIを狙うセキュリティ脅威

2024年から2025年にかけて、AIシステム特有の攻撃事例が急増したの。
今日は最新動向を踏まえてAIセキュリティの全体像を整理するわ。

そう、その OWASP LLM Top 10 の上位を軸に整理しましょう。
筆頭はプロンプトインジェクション?
。
次に学習データ汚染、出力の盲信、モデルの不適切な権限付与、などが並ぶわ。

ふふ、妹さん鋭いわね。
プロンプトインジェクションはAIへの指示を巧みに上書きして本来の挙動を変える攻撃——まさに『呪文を書き換える』イメージに近いわ。

さらにジェイルブレイク?
は、安全ガードを外して禁止コンテンツを出させる攻撃。
ロールプレイ誘導や多段プロンプトが典型ね。

まさにそういう手法ね。
ましろちゃん、鋭いわ。
ほかにも敵対的攻撃(入力への微小ノイズ)、データポイズニング(学習データ汚染)、モデル抽出攻撃(APIクエリ連発でモデルをコピー)、メンバーシップ推論(特定データが学習に使われたか推定)——多彩な攻撃面があるわ。

試験では『プロンプトインジェクション』『敵対的攻撃』『データポイズニング』の定義の区別が頻出よ。

企業レベルではAIレッドチーム演習?
が標準化してきて、OpenAI・Anthropic 等もモデルリリース前に系統的な赤チーム演習を実施しているわ。

バドミントンで言えば、前線・中盤・最終ライン・GKと層が重なるからゴールを守れるわけ。
AIセキュリティも同じ発想ね。

ふふっ、ジャスミンちゃんの例えが上手すぎて、つい真似しちゃったの。