性別や人種によって、ＡＩ（人工知能）から不当な判定を受けてしまう――。
By Bruno Cordioli (CC BY 2.0)
ＡＩはすでに採用やローン審査など、身近な場面で導入され始めている。
だが一方で、ＡＩに潜むバイアスの問題は、様々な場面で批判の的となってきた。
これらの可視化ツールは、そんなバイアスの排除につながるのだろうか。
そして、そもそもＡＩにおける「公平」とは何か、という問題の難しさも改めて浮き彫りになっている。
●モデルを可視化する
「ワットイフ」は、グーグルの機械学習ライブラリ「テンソルフロー」の可視化ツール「テンソルボード」のアプリケーションとして提供されており、「ユーザーはコードを書く必要なしに機械学習のモデルを分析できる」とうたう。
グーグルは「ワット－イフ」のデモを用意しており、その雰囲気をつかむことができる。
デモの一つ「収入予測」モデルでは、対象が年収５万ドル超か、それ以下かを判定。判定結果は「赤」（５万ドル超）と「青」（５万ドル以下）で色分け表示している。
「収入予測」の判定結果は、性別や年齢、人種など様々な属性で分類することができ、それがビジュアルで表示される。
バイアスを可視化するという点では、それぞれの属性ごとの判定を比較していくことから、その傾向をまずつかむことができそうだ。
また、さらに細かく見ていく上で、参考になりそうなのが判定の境界線上の類似データ同士の比較だ。
特定のデータと、最もタイプが近くて判定結果が異なったデータを指定、比較することができる。このため、属性の中でどの項目が判定の採否に影響していたか、それがバイアスにつながっていないかを検討する手がかりにもなる。
下記の写真では、男性、既婚、職業（工員）、年齢（３５歳と３６歳）などほぼ同じ属性ながら、「年収５万ドル以下」「年収５万ドル超」と予測が分かれている事例。
判定に影響したと見られる項目は人種、学歴など（「５万ドル以下」は黒人、中学卒業、州政府職員、「５万ドル超」は白人、高校卒業、連邦政府職員）だ。ただこの事例はいずれも、判定の結果は正解（真陰性と真陽性）だった。
このほかにも、「笑顔検知」のデモがある。
これは著名人の顔写真のデータを使っており、やはり性別・年代といった属性のほか、ほお骨・口元といった項目でも分類できる。
●５つの「公平」
グーグルのプロジェクトの「レジデンス・ライター」の肩書で、『インターネットはいかに知の秩序を変えるか？』などの著書もあるハーバード大学バークマン・クライン・センター上席研究員、デビッド・ワインバーガーさんが、「ワット－イフ」のサイトに論考を寄せている。
ワイバーガーさんが取り上げているのは、「公平」の定義の難しさだ。
「ワット－イフ」を使うことで、ＡＩシステムによって提起される最も困難で、複雑な、そして最も人間的な疑問が露呈する：ユーザーは何をもって公平と判断したいのか？ということだ。
「公平」には、様々なタイプがある、とワインバーガーさん。
２つの問題がある。第１に、どのタイプの公平性を適用すればよいのか、という文化的なコンセンサスが得られていないということ。第２に、それぞれのタイプの公平性には、技術的、非技術的な判断とトレードオフが求められ、そのいくつかは痛みを伴う可能性もある。
そして、ワインバーガーさんは、５つの「公平」を取り上げている。
「Group unaware（集団非識別）」「Group thresholds（集団閾値）」「Demographic parity（統計均衡）」「 Equal opportunity（機会均等）」「Equal accuracy（精度均等）」の５つだ。
「集団非識別」は、性別や人種など、バイアスにつながるような集団の区分データを、そもそも判定項目から除外するもの。ローンの場合であれば、返済可能性６０％以上、などのデータのみに着目して判定を行う。
ただ、この場合はアルゴリズムの元になる学習データに、歴史的に差別を受けてきた集団へのバイアスが反映されている可能性があり、ローンを認められるのが、例えば男性や白人のみになってしまうかもしれない。
このため、集団ごとにこのバイアスを加味した判定レベルを設定することで「公平」を担保するのが「集団閾値」。例えばローンについて、男性なら返済可能性６０％以上だが、女性は返済可能性３０％以上、などと設定する。
「統計均衡」は、例えばローン申請者の３０％が女性であれば、審査の判定でもその割合を３０％に保つ。
だがこのようなケースでは、男性と女性の審査基準にかなりの開きが出てしまう可能性がある。そこで「機会均等」では、男女とも、返済可能性の高い人々に対してのローン審査通過の割合を「公平」にそろえる。
「精度均等」はこれをさらに進めて、ローン審査通過（真陽性）とローン拒否（真陰性）について、いずれも正しく判定する割合を男女でそろえる、というものだ。
「ワット－イフ」では、「性別」「人種」などのデータ項目ごとに、これら５つの「公平」のモジュールを用意し、判定結果の変化を見ながらバイアスを探る機能がある。
ただ、ワインバーガーさんは、こう指摘する
「ワット－イフ」はこれらのオプションをユーザーに提供するが、公平性には、このツールで扱う以外の社会的文脈などの外部要因が影響している。
その場に最も適した公平性とは、どれか？ 一つだけの正解はない。だが、その疑問に答えるべきなのは、コンピューターではなく、人間だという点では、おそらく異論はないだろう。
●バイアス修正の４つのオプション
ＩＢＭも１９日に、やはりＡＩのバイアスを可視化し、その修正オプションを提案するオープンソースツール「ＡＩフェアネス３６０（ＡＩＦ３６０）」を発表している。
ＩＢＭクラウド上のサービスとしても提供され、ＩＢＭの「ワトソン」に加えて、グーグルの「テンソルフロー」、オラクルの「スパークＭＬ」、アマゾンの「ＡＷＳセージメーカー」、マイクロソフトの「アジュールＭＬ」といった大手各社のＡＩサービスに対応している。
「ＡＩフェアネス３６０」も、デモ版を用意している。
その中には、ＡＩのバイアスが注目されるきっかけともなった、再犯予測システム「コンパス」のシミュレーションも含まれている。
再犯予測システム「コンパス」の問題は、２０１６年５月に調査報道サイト「プロパブリカ」が独自の検証によって明らかにした。
米ウィスコンシン州などでは、刑事裁判の判決の参考データとして、被告の再犯可能性を予測する「コンパス」が使われている。
被告に１３７問の質問に答えさせ、過去の犯罪データとの照合により、再び犯罪を犯す危険性を１０段階の点数として割り出すシステムだ。
だがプロパブリカが独自に検証したところ、機械学習によると見られるこの「コンパス」が、黒人に対し、高い再犯予測をすることが明らかになった。
具体的には、再犯率が高いと予測されながら、実際には再犯のなかった（偽陽性）の割合は白人が２３．５％に対して黒人は４４．９％。逆に再犯率が低いと予測されながら、実際には再犯のあった（偽陰性）の割合は白人４７．７％に対して黒人は２８．０％だった。
人種や性別による差別があった環境のデータをＡＩが学習することで、その価値観を埋め込まれたモデルがつくり出され、それがＡＩによる予測や判定に反映し、「差別の再生産」をする。「コンパス」はまさにそんな事例として広く知られている。
「ＡＩフェアネス３６０」では、この「プロパブリカ」の検証データを元に、そのバイアスを可視化している。
バイアスを測る指標は「Statistical Parity Difference（統計均衡差）」「Equal Opportunity Difference（機会均等差）」「Average Odds Difference（平均オッズ差）」「Disparate Impact（差別効果）」「Theil Index（タイル尺度）」の５つ。
ここでも「公平」をめぐって、視点の違う複数の物差しを用意している。
「コンパス」は、人種（白人と非白人）で比較したバイアス判定では、５つの指標のうち、４つで「バイアスあり」と判定されている。
そして、「バイアス緩和アルゴリズム」として「データの見直し」「分類の見直し」「判定の見直し」の３タイプ、４つのオプションが用意されている。
それぞれのアルゴリズムを試してみると、「データの見直し」「判定の見直し」では５つの指標すべてでバイアスが緩和された。だが「分類の見直し」では、なお２つの指標で「バイアスあり」の判定が残るという結果だった。
●コンプライアンス上の要請
これらＡＩのバイアスに関する可視化ツールが相次いで発表される背景には、コンプライアンス上の要請もある。
５月に施行されたＥＵの新たなプライバシー保護法制「一般データ保護規則（ＧＤＰＲ）」では、ＡＩによる判断など「プロファイリングを含む個人に対する自動化された意思決定」（２２条）について、こう規定している。
データ主体は、当該データ主体に関する法的効果を発生させる、又は、当該データ主体に対して同様の重大な影響を及ぼすプロファイリングを含むもっぱら自動化された取扱いに基づいた決定の対象とされない権利を有する。
この場合には「データ保護影響評価」（３５条）が必要とされ、「自動化された意思決定」のプロセスやロジックの開示といった説明なども想定される。
つまりＧＤＰＲによって、ＡＩのアルゴリズム可視化が求められており、「ブラックボックス」では済まなくなってきているのだ。
グーグルやＩＢＭのバイアス可視化ツールは、このような動きへの技術的な対応ということになる。
●バイアスの対処の難しさ
「プロパブリカ」の「再犯予測プログラム」の検証以前に、ＡＩのバイアスについて大きな注目を集めたのは、ほかならぬグーグルだ。
それは、ＡＩによる画像認識だった。
２０１５年６月、グーグルの写真保存サービス「グーグルフォト」が、ＡＩによる自動ラベル付け機能で、黒人の写真に「ゴリラ」と表記した騒動だ。
騒動から２年以上が過ぎた今年１月、ワイアードは、４万枚の動物の写真を使って、「グーグルフォト」の画像認識の進展具合を検証する実験を行っている。
すると、「ゴリラ」「チンパンジー」「サル」といった単語では「検索結果なし」の回答しかかえって来なかった、という。その結果をグーグルに問い合わせると、１５年の騒動以降、検索語、タグから「ゴリラ」を外し、「チンパンジー」「サル」もブロックしているとの回答だった、という。
つまり、根本的な改善は行われていなかった、ということになる。
ワイアードへのグーグルの回答は、画像分類の技術は「完璧からは程遠い」というものだった、という。
この事例は、画像認識の精度の問題が、人種差別の文脈と結びついたものだった。
ＡＩの用途が幅広いのと同様、バイアスの表面化の仕方も様々だ。
そのたびごとに、「公平」とは何か、という疑問は繰り返し浮上してくるのかもしれない。
--------
■新刊『信じてはいけない 民主主義を壊すフェイクニュースの正体』（朝日新書）
（2018年9月22日「新聞紙学的」より転載）