データポイズニング - 学習データの汚染

ももさん、いい導入ね! 今日はまさにその『材料汚染』のお話、データポイズニングよ。
学習データに有害データを意図的に混入して、モデルの振る舞いを変える攻撃ね。

攻撃は大きく3パターン。
① クリーンラベル攻撃?
、② ラベル反転 (spam ↔ ham を逆にする等)、③ バックドア攻撃?
ね。

そう、だから危険なの。
検知には異常値検出や学習データの出所検証?
が必須よ。

まさにその発想よ、ももさん。
食品も AI も『中身の透明性』が信頼の基盤になるの。

そう。
だからデータのサプライチェーン?
全体を守る発想が必要。
サイバーセキュリティと同じ考え方よ。

対策の最前線として、2024年には OpenAI がPreparedness Framework?
を公表し、AI のセキュリティリスクを定量評価する枠組みを提示したわ。
業界全体のベンチマークになりつつあるの。

データポイズニングの発想を裏返すと、フェデレーテッド学習?
のような分散型アプローチでは、一部のノードがポイズニングされても全体への影響を限定できる設計が可能なの。

ももさんの例えは本当に的確。
料理もAIも、プロセス全体への配慮が品質を決めるのよ。