戸倉 ジャスミン
『差別する気がなければ差別にはならない』——これって、ほんとに合ってるのかな?
深見 つむぎ
ジャスミンちゃん、それは現代の差別論では否定されている考え方です。
意図がなくても結果的に不利益を生めば間接差別として法的にも問題視されます。
戸倉 ジャスミン
えっ、あたしの感覚、ズレてたってこと!?
香月 リサ 先生
ジャスミンちゃん、そこに気付けたことが大事よ。
AIの文脈では特に、この論点が重要なの。
開発者に悪意がなくても、データや設計の偏りでAIが結果的に差別的な判断を下してしまう——これがアルゴリズムによる差別の本質よ。
雪村 ましろ
意図してないからこそ、余計に気付きにくいんだねぇ。
香月 リサ 先生
実例を紹介するわ。
米国の COMPAS (再犯リスク予測AI) が黒人被告の再犯リスクを白人の約2倍高く誤判定した、という ProPublica の調査 (2016) は世界的議論を呼んだの。
深見 つむぎ
また、医療領域では米国の保険会社アルゴリズムが黒人患者の医療必要性を系統的に過小評価していた事例 (Obermeyer et al. 2019) も有名です。
戸倉 ジャスミン
AIが人種差別をしてたってこと…?
設計者は自覚あったのかな?
香月 リサ 先生
多くの場合、設計者は『人種』を入力に使っていなかったの。
でも医療費の履歴など、構造的不平等を反映する特徴量を使ったことで、結果的に差別が生じた。
雪村 ましろ
別の情報を使っても、結局同じ結果になっちゃうってこと?
香月 リサ 先生
そう、これをプロキシ変数問題というの。
郵便番号・姓・医療費履歴などが、人種・所得のプロキシになってしまう。
深見 つむぎ
対策としては、保護属性を事前に特定する影響評価、複数の公平性指標での検証、多様なレビュアーによる監査が必要です。
戸倉 ジャスミン
意図がなくてもダメ、ってことは…普段から考え続けなきゃいけないんだね。
香月 リサ 先生
その姿勢こそ、AI時代の倫理リテラシーよ。
雪村 ましろ
ましろも、お店で誰にでも同じように笑顔で接すること、大事にしたいなぁ。
香月 リサ 先生
日本でも、大手銀行の住宅ローン審査や、大学入試でのAI補助ツール導入が進んでおり、どちらも公平性評価の実施が事実上標準化してきているの。
深見 つむぎ
EU AI Act での高リスク AI 規定も、採用・信用評価・教育評価を明示的に挙げており、国際的にも類似の傾向です。
香月 リサ 先生
対策の組み合わせで最も強力なのが、技術的検証 + 人間の多様性 + 制度的監査の三層。
どれか一層欠けると、差別が漏れてしまうのよ。
深見 つむぎ
多様性は単に性別・人種だけでなく、経験・視点・分野の多様性も含みます。
『いつも同じような人たちが作る AI』から脱却することが根本的な解決です。
戸倉 ジャスミン
今日のポイントは『結果責任』って考え方だね。
意図の善し悪しは関係ない、と。
深見 つむぎ
労働法や人権法の領域では、この『結果としての差別』論が長年議論されてきました。
AI はその議論を急加速させた面があります。
香月 リサ 先生
人類が何十年もかけて育ててきた公平性の議論が、AI の普及で再燃しているとも言えるわね。
雪村 ましろ
むずかしいけど、大事な宿題だね。
確認クイズ
AI による差別に関する記述として最も適切なものは?
- 開発者に差別する意図がなければ差別は成立しない
- 意図がなくてもデータの偏りやプロキシ変数を通じて間接的な差別が起こりうる
- AI は計算だから常に公平な判断をする
- 差別はプログラムのバグでのみ発生する
こたえを見る
正解: 2. 意図がなくてもデータの偏りやプロキシ変数を通じて間接的な差別が起こりうる
AI による差別は開発者の意図に関わらず、データの偏り・プロキシ変数・評価指標の選択を通じて生じます。『結果としての公平性』を複数の指標で評価し継続監査することが重要です。