ＡＩによる顔認識に、改めて批判の声が強まっている。
直近のきっかけは、アマゾンの顔認識ＡＩ「レコグニション」が上下両院２８人の議員の顔を犯罪者と誤認識し、しかも黒人議員らの誤認識の割合が高かったという問題だ。
By Sheila Scarborough (CC BY 2.0) Using tech to flip facial recognition in video stories from Iran, at SXSWi
これ以前から、顔認識ＡＩの誤認識、特に有色人種や女性の誤認識率が高いという「バイアス（偏見・差別）」の存在は指摘されてきた。
ＡＩに潜む「バイアス」は、それによって就職やローン審査など実生活の場面で不利益を被る可能性がある一方、その判断の根拠がブラックボックス化してしまうという課題を抱える。
欧州連合（ＥＵ）で５月に施行された新たなプライバシー保護法制「一般データ保護規則（ＧＤＰＲ）」では、こういったＡＩなどによる「自動判定」を受けない権利を規定するなど、対処の取り組みも出ている。
顔認識ＡＩに対しては、米マイクロソフトから米国内法での規制を求める声明が発表されており、急速にマイナスイメージが拡大することへの危機感もあるようだ。
●「不平等を悪化させる危険性」
相次いで明らかになっている証拠によれば、これらのテクノロジーは、すでにある警察活動における人種の違いをめぐる不平等をさらに悪化させ、固定化してしまう危険性がある。
人種問題について強い影響力を持つ連邦議会黒人幹部会（ＣＢＣ）の元議長で下院議員のエマニュエル・クリーバー氏（民主）は、８月１５日、司法次官補代理のジョン・ゴア氏に宛てた公開書簡で、そう指摘した。
その上でクリーバー氏は、司法省公民権局に対し、捜査機関における顔認識ＡＩの利用が、公民権侵害、特に捜査における差別的な扱いを引き起こしていないか、調査するよう求めている。
グリーバー氏が指摘する「相次いで明らかになっている証拠」の一つが、アマゾンが提供している顔認識ＡＩ「レコグニション」をめぐる騒動だ。
●連邦議会議員２８人を犯罪者と誤認識
アマゾンの顔認識ＡＩ「レコグニション」が、２８人の連邦議会議員を逮捕歴のある人物として誤認識した――。
米自由人権協会（ＡＣＬＵ）は７月２６日、公式ブログでそんな実験結果を明らかにしている。
from ACLU
実験に使ったのは、ネットから入手した２万５０００人分の逮捕写真。これを「レコグニション」に入力して「犯罪者データベース」を構築。
このデータベースに、５３５人の上下両院の連邦議会議員の顔写真を判定させたところ、２８人が「犯罪者」と認識されたという。
この中には、公民権運動で知られる有力下院議員、ジョン・ルイス氏（民主）ら連邦議会黒人幹部会のメンバー６人も含まれており、有色人種の割合は３９％。
議会における有色人種の割合２０％の倍の割合だった、としている。
この結果を受けて、誤認識された２８人のうち、いずれも民主党の上院議員のエドワード・マーキー氏と、下院議員のルイス・グティアレス氏、マーク・デソールニアー氏の３氏は連名で、アマゾンＣＥＯのジェフ・ベゾス氏宛の公開書簡を送り、「レコグニション」の精度と、「バイアス」の検証について問い質している。
マーキー氏とやはり民主党上院のロン・ワイデン氏、クリス・クーンズ氏、さらに民主党下院で司法委員会のメンバーでもあるコーリー・ブッカー氏とジェロルド・ナドラー氏の５人は７月３１日、連名で議会の補佐機関である会計検査院（ＧＡＯ）に対し、政府機関における顔認識テクノロジーの使用状況と問題点について、調査を要求。
また、マーキー氏ら上院の３人は、３９の法執行機関に対しても、顔認識の使用状況について問い合わせている。
米自由人権協会の指摘に対して、アマゾン側は反論の声明を出している。
それによると、捜査機関での「レコグニション」の利用は、あくまで補助的なものであり、ＡＩのみによる人物特定は行われていない、と説明。
さらに、米自由人権協会は顔識別の精度をデフォルトの８０％で行っているが、このような用途では精度設定を９５％に上げた上で使うことを推奨している、としている。
ただ、「レコグニション」の説明サイトでは、従業員の顔とＩＤカードとの照合に使うケースで「８０％」という精度レベルを例示していた（現在は「９９％」という例示に修正してある）。
●「顔認識」をめぐる反発
「レコグニション」をめぐる懸念が噴出したのは今年５月。
米自由人権協会など４１の人権保護団体が、アマゾンＣＥＯのジェフ・ベゾス氏に対して「レコグニション」の政府への提供をやめるよう求める公開書簡を送ったことで、注目を集めた。
米自由人権協会が情報公開によって入手した文書やアマゾンのマーケティング資料などによれば、アマゾンは２０１７年、オレゴン州ワシントン郡保安官事務所やフロリダ州オーランド市と契約。
ワシントン郡保安官事務所では、「レコグニション」を使って３０万人分の容疑者の顔写真データベースを構築し、保安官が顔写真照会をできるよう、モバイル用アプリも開発した――郡保安官事務所の担当者はアマゾンＡＷＳのブログでそんな取り組みを紹介していた。
アマゾンのサイトの説明によると、「レコグニション」では１枚の画像から最大１００人の顔認識が可能になっているという。
「レコグニション」の法執行機関への提供に対しては、社内からも反発の声が上がり、社員有志が提供停止を求めるジェフ・ベゾス氏宛ての書簡をとりまとめる事態になっていた。
これに先立つ３月には、グーグルが同社のオープンソース機械学習基盤「テンソルフロー」を、国防総省のＡＩ化計画「プロジェクト・メイブン」における画像認識のために提供していたことが発覚。
社員４０００人による反対署名や抗議退職を受けて、グーグルが国防総省との契約更新を見送る、という騒動もあった。
●「画像認識は女性、有色人種の精度が低い」
顔認識ＡＩへの懸念は、誤認識による人権侵害、なかでも性別や人種により、認識精度に大きな開きが出てしまうという「バイアス」の問題が大きい。
この問題を端的に示す研究が今年２月に明らかにされていた。
マサチューセッツ工科大学メディアラボのジョイ・ブオラムウィニ氏らの研究によると、顔認識のシステムでは、有色人種や女性の誤認識率が高いことが判明したという。
ブオラムウィニ氏らは、性別、人種のバランスを考慮し、ルワンダ、セネガル、南アフリカのアフリカ３カ国と、アイスランド、フィンランド、スウェーデンの欧州３カ国の議会議員１２７０人の顔写真をサンプルとして使用し、性別と肌の色（白い、黒い）で分類。
マイクロソフト、ＩＢＭ、さらに中国の顔認識サービス「フェイス＋＋」の３つのサービスの認識精度を比較している。
それによると、３つのサービスの誤認識率は、いずれも男性より女性の方が高く、白い肌より黒い肌の方が高かった。
さらに、性別と肌の色の組み合わせでは、いずれも誤認識率が最も高かったのは肌の黒い女性。マイクロソフトでは２０．８％、フェイス＋＋では３４．５％、ＩＢＭでは３４．７％だった。
逆に誤認識率が最も低かったのはマイクロソフト（０．０％）とＩＢＭ（０．３％）で白い肌の男性。フェイス＋＋では肌の黒い男性（０．７％）。肌の黒い女性との格差が大きいことが確認された、という。
●ＡＩに潜む「バイアス」
このようなＡＩによる「バイアス」が大きな注目を集めたのが、２０１６年５月に調査報道サイト「プロパブリカ」が明らかにした、「再犯予測プログラム」の問題だった。
米ウィスコンシン州などでは、判決の参考データとして、被告の再犯可能性を予測する「再犯予測プログラム」が使われている。
「再犯予測プログラム」では被告に１３７問の質問に答えさせ、過去の犯罪データとの照合により、再び犯罪を犯す危険性を１０段階の点数として割り出す。
だがプロパブリカが独自に検証したところ、機械学習によると見られるこの「再犯予測プログラム」が、黒人に対し、高い再犯予測をすることが明らかになったという。
こういった「バイアス」がＡＩに入り込む主な原因は、ＡＩが学習する元データにある。
人種や性別による差別があった環境のデータをＡＩが学習することで、その価値観を埋め込まれたモデルがつくり出され、それがＡＩによる予測や判定に反映してしまう。
しかも、予測や判定の当事者には「バイアス」があるかどうかもよくわからない。
そして「再犯予測プログラム」のように、すでに裁判という対象者の人生に大きく影響する場面で運用されており、採用選考やローン審査など身近な場面でもＡＩによる判断の導入が進んでいる。
●様々な場面に潜む「バイアス」
ＡＩの判断に潜む「バイアス」は、これまでにも様々な事例が指摘されてきた。
画像認識については２０１５年６月、グーグルの写真保存サービス「グーグルフォト」が、ＡＩによる自動ラベル付け機能で、黒人の写真に「ゴリラ」と表記したことが明らかになった。
２０１６年９月には、ＡＩが審査員となって男女の美顔を決めるコンテスト「ビューティーＡＩ」で、１００カ国以上６０００人の応募者の中から選ばれた受賞者４４人のうち、黒人は１人だけで、大半は白人だったことが、議論を呼んだ。
また２０１５年７月、カーネギーメロン大学の研究チームは、１０００人の架空ユーザーをプログラムでつくり出し、１００カ所の求職サイトを閲覧させた上で、グーグルから表示される広告を測定。
すると、男性のプロフィール向けには年収２０万ドル以上の役員ポストをうたう転職支援サービスの広告が計１８００回表示されたのに対し、女性のプロフィール向けには同様の広告表示は３００回。そして、女性向けには一般的な求人サービスや自動車販売などの広告が男性向けより多く表示されていたという。
「バイアス」が潜むのは見た目だけではない。名前もそのひとつだ。
２０１６年８月、プリンストン大学の研究チームは、ネットの上で使われている言葉の意味をデータ化した自然言語のＡＩモデルを使って、「花 快」「虫 不快」といった結びつきから人が意識することができない潜在的な態度を調べる「潜在連合テスト」を実施したところ、「エミリー」「マット」といった白人に多い名前はポジティブな「快」に、「エボニー」「ジャマル」といった黒人に多い名前はネガティブな「不快」に結びつけられる傾向があった、という。
ＺＩＰコード（郵便番号）にも差別が潜む。米国ではＺＩＰコードで示される地域ごとに、所得格差が明確で、それが住民の人種構成にも反映されることが多い。
ブルームバーグは２０１６年４月、アマゾンがアマゾン・プライムの当日配送無料サービスが、黒人居住地区を除外している、とのデータを報じている。アマゾン側は、プライム会員の集中する地域を優先した結果であり、住民の人種によるものではない、と説明していた。
ＡＩは学習するデータによって、差別的になる。
２０１６年３月には、マイクロソフトのＡＩチャットボット「Ｔａｙ（テイ）」が、悪意あるユーザーが学習させた言葉によって、ホロコーストを否定したり人種差別発言をするなどして、公開を中止した騒動があった。
●「バイアス」と可視化
この現状への取り組みも始まっている。
５月に施行されたＥＵの新たなプライバシー保護法制「一般データ保護規則（ＧＤＰＲ）」では、ＡＩによる判断など「プロファイリングを含む個人に対する自動化された意思決定」（２２条）について、こう規定している。
データ主体は、当該データ主体に関する法的効果を発生させる、又は、当該データ主体に対して同様の重大な影響を及ぼすプロファイリングを含むもっぱら自動化された取扱いに基づいた決定の対象とされない権利を有する。
また、このような場合には「データ保護影響評価」（３５条）が必要とされ、「自動化された意思決定」のプロセスやロジックの開示といった説明なども想定されている。
つまりＧＤＰＲには、すでにＡＩのブラックボックス化及び、そこに潜む「バイアス」に取り組むことが盛り込まれているのだ。
このようなＡＩの可視化への動きは他にもある。
国防総省の国防高等研究計画局（ＤＡＲＰＡ）は、機能を維持しながら人間に理解可能なＡＩを目指す「説明可能なＡＩ（ＸＡＩ）」のプロジェクトを推進。
●法規制を求めるマイクロソフト
一連の顔認証ＡＩの騒動を受けて、ＩＴ業界側から法規制を求める動きも出ている。
声を上げているのはマイクロソフトだ。
グーグルやアマゾンと同様、マイクロソフトでも、１００人を超す社員が、顔認証ＡＩの政府への提供に関するサティア・ナデラＣＥＯ宛の公開質問状を、社内掲示板に投稿していた。
トランプ政権が進めた２０００人以上の不法移民の子どもたちの、親との「引き離し政策」が社会問題化する中で、不法移民の取り締まりにあたる国土安全保障省の移民税関執行局（ＩＣＥ）とマイクロソフトとの契約に注目が集まったのだ。
マイクロソフトは今年１月、公式ブログの中で、米国政府機関向けのクラウドサービス「アジュール・ガバメント」がＩＣＥに採用されていることを公表していた。
そして、「アジュール・ガバメント」には顔認識ＡＩの機能も実装されていることから、社員の反発を招いたようだ。
マイクロソフトは、ＩＣＥとの契約には顔認識ＡＩの機能は含まれていない、との立場をとっている。
そんな中で、同社のブラッド・スミス社長は７月１３日の公式ブログで、顔認証に対する法規制推進を打ち出した。
スミス氏はこう述べている。
企業が自社製品に対する政府の規制を求めるのことは、奇異に映るかも知れない。しかし、周到な規制が消費者、生産者の双方にとってより健全な活性化をもたらしている市場はたくさんある。（中略）製品に対する強固な規制が、有効に機能しつつ潜在的な問題もはらむ世界は、法的な基準のない世界に勝るのだ。
このままでは、社内外の批判の圧力ばかりが高まっていくことへの危機感も透けて見える。
一方で、ニューヨーク・タイムズによれば、マイクロソフトのほか、フェイスブック、グーグル、ＩＢＭなどのＩＴ大手は、米国には存在していない連邦法としてのプライバシー保護法新設に向けて働きかけを始めている、とも言う。
これは今年６月に成立、２０２０年１月施行となる、カリフォルニア州消費者プライバシー保護法が視野にあるという。
強固な保護措置で知られる同州のプライバシー保護法を、新たに連邦法をつくることで上書きし、骨抜きにする狙いではないか――との同紙の見立てだ。
ＥＵのＧＤＰＲのインパクトは強く、同様の保護法が、各州に次々と広がっていくことへの懸念が、ＩＴ業界には強いという。
そんな、「防波堤」としての法規制の推進という文脈が、マイクロソフトの顔認識ＡＩ規制のキャンペーンにもあるのかもしれない。
--------
■新刊『信じてはいけない 民主主義を壊すフェイクニュースの正体』（朝日新書）
s（2018年9月1日「新聞紙学的」より転載）