「すぐに退職しそうな学生」をAI予測、企業に"悪用"される可能性高く…就活現場に迫る危険どう止める？ 平野晋教授に聞く

「すぐに退職しそうな若者をAIを使って、採用前に予測する」

【関連記事：コンビニの日本人店員が「外国人の名札」を着けたら…客の態度に劇的変化】

そんな研究が成功したと、今年8月に報道された。名古屋大学の研究室などが取り組んでいるもので、「AIがやっていいことなの？」「社畜しか採用されなくなる」など、多くの批判と不安の声が寄せられた。

一方で、この研究に限らず、就活の現場ではすでにAIが導入されつつある。学生が殺到する人気企業は、大量のエントリーシートをAIによってふるいにかける。また、志望してきた学生にテストを受けさせ、どのような傾向があるかをAIで分析、採用の可否を決める。

しかし、どのようにAIを利用しているのか、また、AIがどのような判断をしたのか、学生側には公表されない。すべてはブラックボックスの中であり、学生側からすれば、AIの判断が適切だったのか、知る術すらない。

欧米ではすでに、従業員の採用や昇進の判断をAIに任せている企業に対して、規制を始めている。AIが差別や偏見を助長し、マイノリティなど一部の人たちに不平等が生じているケースがあるからだ。ひるがえって日本では、規制の動きは見受けられない。

「強い懸念を覚えます。学生の、人としての尊厳・自律性にも関わってくる問題です」

そう話すのは、政府の人工知能に関する有識者会議のメンバーとして、国内と経済協力開発機構（OECD）のAI政策にも関与してきた、中央大学国際情報学部長の平野晋教授だ。

採用の現場におけるAIの利用を、私たちはどのように考えたらよいのだろうか。平野教授に取材した。（弁護士ドットコムニュース編集部・猪谷千香）

●女性差別をしていたアマゾンのAI人材採用システム

有名な事例がある。2018年、米アマゾンが自社で開発したAIによる人材採用システムの運用を取りやめたケースだ。AIが男性の履歴書に高い評価を、反対に女性の履歴書に低い評価を与えるという差別的な傾向が発見されたという。

「学習するデータによってAIの判断が左右されるという事例です。アマゾンの場合は、過去10年間の応募者の履歴書を学習させたところ、そのほとんどが男性でした。その結果、男性を望ましいと判断し、『女子チェス・クラブ部長』などと書かれた女性の履歴書を不利に扱うようになっていました。

アメリカの雇用機会均等委員会（EEOC）は、人種、肌の色、出身国、宗教、又は性別などによる雇用上の差別を禁止する法を執行しています。しかし、学習するデータの中に差別される人たちのデータがそもそも少ない場合、不利に判断される傾向があり、それはEEOCや裁判所によって雇用差別禁止法に違反すると解釈されるおそれがあります。

ですので、学習させるデータの質や、データ内のどういう要素を重視し、採用する際に照らし合わせるのかという点などには相当な注意をはらわなければなりません。

EEOCの委員と委員付弁護士らは昨年、公表した共著論文で、AIの利用には定期的な監査も必要で、修正が正しくおこなわれているか、データの出自が適切かどうかなどのチェックも必要だなどと指摘しています」

AIを使えば、たちどころに素晴らしい判断が下されるというわけではないのだ。もともとのデータが不適切だった場合、偏見や差別を再生産してしまう。そのため、AIを利用するためには、さまざまな義務や配慮が求められるという。

「AI倫理の世界では、『FATの原則』が求められます。つまり、フェアネス（公平性／Fairness）、アカウンタビリティ（説明責任／Accountability）、トランスペアレンシー（透明性／Transparency）です。これは、2019年に内閣府が公表した『人間中心のAI社会原則』にも盛り込まれています」

平野教授も策定に関わった「人間中心のAI社会原則」には、尊重すべきことの一つに「人間の尊厳」が掲げられ、こう明記されている。

「我々は、AIを利活用して効率性や利便性を追求するあまり、人間がAIに過度に依存したり、人間の行動をコントロールすることにAIが利用される社会を構築するのではなく、人間がAIを道具として使いこなすことによって、人間の様々な能力をさらに発揮することを可能とし、より大きな創造性を発揮したり、やりがいのある仕事に従事したりすることで、物質的にも精神的にも豊かな生活を送ることができるような、人間の尊厳が尊重される社会を構築する必要がある」

平野教授はこう話す。

「農家の人が超大手IT企業のAIを利用して、キュウリの形を選別するのに成功したという話がありますが、キュウリの選別であれば一般論としてはAI利用に問題はありません。

しかし、人間の選別となると話はまったく異なります。学生にとって就活は、人生がかかっている重要な場面です。その大事な場面で、人間の尊厳性に深く結びついているところを、『FATの原則』をしっかり遵守せずにAIに判断させるのは、非常に問題があると考えています」

●AI利用に求められる透明性と説明責任

一方で、AIを利用すれば、人が判断するよりも標準化され、公平になるのではないかという意見もある。また、人気企業になれば膨大な数の学生が殺到することになり、スクリーニングをAIに任せて効率化したいという「本音」もある。

「アメリカでも同じようなことが指摘されてきました。しかし、いくら高邁（こうまい）な理想があっても、現実的には差別などさまざまな問題が表面化してきたのです。

厳しい言い方をすれば、AIはまだ私たちが求めているような精度を持っていません。より精度を高めるためには、先ほど言ったように『FATの原則』に象徴されるさまざまな対処をしなければならないのです。

アメリカの場合は、たくさん送られてくる履歴書を読ませるのですが、たとえば、就職していない空白期間があると『望ましくない』と機械的に判断して、はじいてしまう問題が指摘されています。

すなわち、妊娠・出産などの理由で離職期間がある場合、空白期間が多くなってしまい、AIは女性を選ばなくなると指摘されているのです。

これでは、一時的に離職していたかもしれないけれども、能力や仕事への意欲が高い人材を逃してしまうことになりかねません。しかし、人間がきちんと見れば、その女性になぜ空白期間があるのか、文脈でとらえることができます。今、そうした問題が明らかになってきたところです」

今後、これらの問題を解決するためには、どうしたらよいのだろうか。

「さきほど『FATの原則』と言いましたが、公正さと説明責任と透明性が求められます。正確性を担保するような仕組みをつくること、AIに不得手な判断にはAIの使用を控えること、及び、きちんとした手続きを踏むことが大事です。

実際、もうすでに就活中の学生たちは「意味のある説明」（meaningful explanation）を受けることもなくAI面接を受けさせられています。そこでは、公正さが実現されているのかについての透明性がなく、説明責任も果たされていません。

就活で、AIに『あなたは不合格でした』と言われても納得いかないですよね。その因果関係がわからないということは、透明性に欠け、説明責任を果たしていないということです。

特にAIが示す『相関関係』は、必ずしも採用後の仕事上の成功に繋がる『因果関係』を示してはいない問題も、大きく指摘されるようになってきました。

たとえば仕事で成功する2つの要素は、高校で『ラクロス部』に所属していて『Jared』という名前であること、と予測したAIがアメリカでは問題になっています。

以上のように、採用にAIを利用することには問題が多いので、透明性を実現して説明責任をきちんと果たすためには、利害関係のない外部者による監査に服しつつ、その結果を公表することも望ましいとされています」

日本では、そうした「公正さと説明責任と透明性」は明文化されているのだろうか。

「日本を含むOECD諸国及びパートナー諸国は2019年、『AIシステムが健全、安全、公正かつ信頼に足るように構築されることを目指す国際標準』を正式に採択しました。

それは『AI原則』と呼ばれる5つの原則ですが、その中には、『透明性と説明責任』という項目があり、特にAIによって不利益を被った人たちが異議を唱えることができるようにするために、AIが下した判断などの論理とそこで用いられたデータなどに係る平易で理解し易い、意味のある情報（meaningful information）に関して、透明性と責任ある開示に取り組むべきであると明記しています」

●「最終的に人間が判断すればいい」は本当？

AIを採用に利用する企業側は、AIが選ばなかった人材のリストを「最終的には人間がチェックして判断していますので、倫理的には問題ありません」などと説明することがあるという 。

これに対しても、平野教授は問題を指摘する。

「ロボット兵器の分野では、ヒューマン・『アウト』・オブ・ザ・ループという考え方があります。つまり、敵からの攻撃のおそれに対して、AIが観察し、兵器を方向づけし、判断し、引き金を引くという一連のループの中で、人間が介入することなく動く『完全自律型致死的兵器』のことです。

これに対しては議論があり、国際的な人権団体などから批判が強く、そのような完全自律型の兵器を採用しない国も多いようです。

対して、ヒューマン・『イン』・ザ・ループという考え方は、最終的な引き金は人間が判断して引くというものです。この考え方が、就活でのAI利用でも援用されていて、これならば倫理的にも問題がないという主張が見受けられます」

ところが、最近の研究で、この「ヒューマン・イン・ザ・ループ」という考え方が、揺らいでいるという。

「アメリカなどの実証研究で、AIが自動的に勧めてきた判断や予測などを的確に人間は拒否できない傾向がわかってきました。特に複雑なAIの仕組みの理解不足や適切なトレーニングを受けていない人の場合では、定量的な機械の判断に『過剰に依拠』したり、鵜呑みにして『いいかげんに印鑑』（rubber stamp）を押すような傾向が懸念されると指摘されています。

ですから、AIを利用するためには、まずはAIが正しい勧告・予測などを示すことができるようなさまざまな仕組みを構築・実装しつつ、かつ、そのAIの勧告・予測などを人が的確に判断できるようなトレーニングを受けさせるなど、いろいろな義務を課していかなければならないというのが、欧米の最新の考え方です」

AIにも人間にも、得手・不得手がある。AIが不得手であるとして、人間に担うべき判断には、どのようなものがあるのだろうか。

「たとえば、『時速100キロを超える運転は交通違反である』という判断はAIに任せても構いません。他方、『安全に運転しなければならない』のように数値で明確にルール化できない法規の解釈・当てはめが求められる場合では、ある運転が安全運転違反にあたるかどうかという判断はAIには不得手なので、人間が判断すべきということになります。

大局や文脈からものごとを見て判断するためには、人間でなければなりません。すなわち、安全運転か不安全かという判断は、『時速100キロ』という客観的で明確な、紋切り型の判断とは異なります。安全か不安全かという判断においては、個々の事例の特殊な状況もすべて考慮に入れることによる、具体的で妥当な判断が求められます。

そして一人ひとり異なる個性を有した応募者の採用・不採用という判断も、やはり数値とデータだけに基づくステレオタイプな分類化だけでは具体的に妥当な判断が下せない分野といえるでしょう」

●AI利用に規制を強める欧米、日本は？

欧米ではすでに、雇用に関する分野のAI利用についても、法律やルールの整備や現行法規の執行強化に着手している。

EUは今年6月、「AI規則」（AI Act）を可決した。この法では、AIのリスクをその大きさによって段階分けして、それぞれ禁止事項や義務などを定めている。雇用の分野におけるAIの利用は、最高レベルの「許容できないリスク」の次にあたる「ハイリスク」に相当するとしている。

アメリカのEEOCは2022年5月、企業が労働者の雇用や評価をする際にAIを使用することが、障がい者に対する差別につながる可能性があり、違法になる可能性があると指摘した。今年5月には、採用や昇進などにおけるAIの活用についてのガイダンスを発表。ガイダンスでは、AIの使用が「不利な効果」を生じさせる場合は違法と解釈されうるとしている。

米ニューヨーク市も今年7月、企業の採用活動におけるAIの活用を規制する条例を施行した。独立行政法人「労働政策研究・研究機構」のリポートによると、この条例は、AIを使用する企業や、人材紹介事業者に対して、使用する前に第三者による「バイアス監査」がおこなわれたことを確認することや、監査結果をネットで公開することなどを義務付けている。これらに違反した企業には罰金も科される。

他にも、イリノイ州やカリフォルニア州など、複数の州で採用におけるAIの利用を規制したり立法を提案しており、この動きはアメリカ国内で広がっている。

しかし、日本は欧米の状況とは異なると、平野教授は指摘する。

「日本の場合は、強制法規ではなく、ソフトローと呼ばれる強制力のないルールでAIの政策を展開してきました。厳しく規制すれば、AIの発展が萎縮するという理由からです。これら日本のソフトローは、研究者・企業・消費者団体などの代表者が一堂に会して議論を重ねた結果のルールだったので、それ自体はバランスのとれた良い内容になっていました。

しかし、せっかく作ったソフトローも、それがAIの実際の利用において実装されず、たとえば『FATの原則』がきちんと実現されていなければ、やはりソフトローだけでは不十分（すなわち欧米なみのAI規制立法が必要である）という議論に発展するでしょう。特に採用活動において蔓延しているAIの利用は、『FATの原則』をきちんと遵守していると評価できるだけの情報開示（すなわち透明性や説明責任）が欠けているようです。

採用活動におけるAI利用が蔓延していて、それが公正であるか否かが確認できず、応募者個人の尊厳や自律性が侵されているおそれも払拭できない現状に鑑みれば、まずは、職業安定法や個人情報保護法などの現在の法規や、内閣府や総務省などの有識者会議が作ったAIに関するソフトローの範囲内で、法規違反の恐れはないのか、ソフトロー不遵守ゆえの問題がないのかなどを検証し、前者（法規違反）の場合には法を執行し、後者（ソフトロー不遵守）の場合には遵守を促すことが必要でしょう。そして、それでも不十分であるようなら、欧米並みの立法も検討していく必要性が生じるでしょう。

このようなルールの執行・遵守促進を通じて、応募学生の尊厳・自律が守られるような『信頼に値するAI』や『人間中心のAI』の利用が実現すれば、経済的な発展にもつながるのではないでしょうか」

【平野晋教授プロフィール】
1984年、中央大学法学部卒業後、富士重工株式会社に入社。1990年、コーネル大学大学院（ロースクール）に企業派遣で留学し修了（法学修士）。同年にニューヨーク州法曹資格試験に合格。2000年から株式会社NTTドコモの法務室長。2004年から中央大学教授。2019年に中央大学国際情報学部の初代学部長に就任。また、OECD「AI専門家会合」および、内閣府「人間中心のAI社会原則検討会議」（現在は「人間中心のAI社会原則会議」）の委員などを歴任。総務省「AIネットワーク社会推進会議」副議長および「AIガバナンス検討会」座長も務める。