人工知能はあなたに信用を拒否しましたか?

銀行やクレジットカード会社から融資を受けて拒否された人々は、その理由を説明しなければなりません。 これは良い考えです。なぜなら、それは人々に損傷したクレジットを修復する方法を教えるのに役立つからです。そしてそれは連邦法です。 クレジット機会均等法。 人間がその決定を下したとき、答えを得ることは何年も前の問題ではあまりありませんでした。 しかし、今日、人工知能システムはますます助けや信用の意思決定を行う人を置き換えるとして、その説明を得ることははるかに困難になっている。 会話

伝統的に、申請を拒否したローンオフィサーは、借り手に所得水準や雇用歴に問題があると伝えることができました。 問題が何であれ。 しかし、複合体を使用するコンピュータ化されたシステム 機械学習 モデルは専門家にとっても説明が難しい。

消費者の信用の決定は、この問題が発生する1つの方法に過ぎません。 同様の懸念 に存在する ヘルスケア, オンラインマーケティング そして、さえ 刑事司法。 この分野における私の興味は、私が発見された研究グループ オンライン広告のターゲット設定におけるジェンダー偏見なぜ起こったのか説明できませんでした。

機械学習を使ってプロセスを分析し、意思決定を行うすべての業界や他の多くの企業は、システムの仕組みを説明する上で、より良い成果を上げるためにわずか1年以上を要しています。 5月の2018では、新しい 欧州連合(EU)の一般データ保護規制 人々の生活に影響を与える自動化された意思決定のための説明を得る権利を人々に与えるセクションを含む、効果が発揮されます。 これらの説明はどのような形を取るべきですか?実際に提供することはできますか?

主要な理由の特定

自動化された決定が、それが行ったようになった理由を説明する1つの方法は、決定に最も影響を与えた要因を特定することです。 申請者が十分な金額を出していないか、または過去に貸付金を返済できなかったために、クレジット拒否の決定のどれくらいがあったか?


インナーセルフ購読グラフィック


カーネギーメロン大学の私の研究グループ、博士課程の学生Shayak Sen、そしてポストドックのYair Zickは、 相対的影響を測定する 各要因の これを定量的インフルエンスと呼ぶ。

申請者がすでに他の債務を負っているかどうかなど、財務的な懸念から、アルゴリズムが与信を拒否したかどうかを判断することができます。 あるいは、応募者の郵便番号がより重要である - レースのようなより基本的な人口統計が提示された可能性を示唆しているか?

因果関係の把握

システムが複数の要因に基づいて意思決定を行う場合、どの要因が意思決定およびその相対的な貢献を引き起こすのかを特定することが重要です。

例えば、2つのインプット、申請者の負債所得比率とレースを取るクレジット決定システムを想像し、白人のみの融資を承認することが示されています。 どのように各要素が決定に寄与したかを知ることは、それが正当なシステムであるか、それとも差別的であるかを理解するのに役立ちます。

説明だけで入力と結果を見て、相関関係を観察することができます。非コーカサス人は融資を受けませんでした。 しかし、この説明はあまりにも単純すぎる。 ローンを拒否された非白人人も、申請が成功した白人よりも所得がかなり低いとします。 それでは、この説明は、申請者の人種や負債比率が否定を引き起こしたかどうかはわかりません。

我々の方法はこの情報を提供することができる。 違いがあるということは、システムが不当に差別しているのか、応募者の財政のような正当な基準を見ているのかを明らかにすることができます。

特定の与信決定におけるレースの影響を測定するため、申請プロセスをやり直し、負債と所得比率を同じに保ちながら申請者のレースを変更します。 レースの変更が結果に影響する場合は、レースが決定的要因であることがわかります。 もしそうでなければ、アルゴリズムは財務情報だけを見ていると結論付けることができる。

原因である要因を特定することに加えて、決定に対する相対的因果的影響を測定することができます。 要因(例えば、レース)をランダムに変化させ、結果が変化する可能性を測定することによって、これを行います。 尤度が高いほど、因子の影響が大きくなる。

影響の集約

私たちの方法は、一緒に働く複数の要因を組み込むこともできます。 600を上回るクレジットスコア、自動車の所有権、および申請者が住宅ローンを完全に返済したかどうかの3つの基準のうちの2つを満たす申請者にクレジットを与える決定システムを検討してください。 730のクレジットスコアと車や住宅ローンのない申請人、アリスは、信用を拒否されています。 彼女は車の所有状況や住宅ローン返済履歴が主な理由であるかどうか疑問に思う。

アナロジーは、この状況をどのように分析するかを説明するのに役立ちます。 3人の裁判官のパネルの過半数の賛成によって決定が下された裁判所を考えてみましょう。裁判官の1人は保守的、1人は自由党、3人はスイング投票、同僚と同行する可能性があります。 2-1の控えめな決定では、スイングジャッジはリベラルジャッジよりアウトカムに大きな影響を与えました。

私たちの信用例の要因は、3人の裁判官のようなものです。 最初の裁判官は、多くの申請者が十分高い信用スコアを持っているので、一般的にローンに有利に投票します。 2番目の裁判官は、ほとんどの応募者が家を払ったことがほとんどないため、ほとんど常にローンに反対しています。 だから、その決定は、彼女が車を持っていないので、アリスの事件でローンを拒否するスウィングジャッジになる。

私たちは、この推論を、 協調ゲーム理論これは、異なる要因がどのように単一の結果に寄与するかをより詳細に分析するシステムです。 特に、私たちは相対的因果関係の測定値を シャープリー値これは、複数の要因に影響を与える方法を計算する方法です。 これらはともに、定量的インフルエンス測定を形成します。

これまでは、一般の機械学習アルゴリズムを実世界のデータセットでトレーニングすることによって作成した意思決定システムの方法を評価しました。 現実の世界で作業中のアルゴリズムを評価することは、今後の課題です。

オープンなチャレンジ

アルゴリズムがどのように決定を下すのかを分析し説明する私たちの方法は、負債と所得の比率やその他の財務基準など、要因が人間によって容易に理解されるような状況で最も有用です。

しかし、より複雑なアルゴリズムの意思決定プロセスを説明することは、依然として重要な課題です。 例えば、画像認識システム、例えば、 腫瘍の検出と追跡。 個々のピクセルに基づいて特定の画像の評価を説明することはあまり有用ではありません。 理想的には、画像内の特定の腫瘍の特徴を特定するなど、決定についてのさらなる洞察を提供する説明が欲しい。 実際、このような自動化された意思決定のための説明を設計することは、多くの研究者 忙しい.

著者について

Anupam Datta、コンピュータサイエンスと電気・コンピュータ工学の准教授、 カーネギーメロン大学

この記事は、最初に公開された 会話。 読む 原著.

関連書籍

at InnerSelfMarketとAmazon