Amazonが最近提供を開始した 即日配送 選択された首都圏で これは多くの顧客にとっては良いことかもしれませんが、展開は、コンピュータ化された意思決定がどのようにして差別の強さをもたらすことができるかを示しています。
同社は、同日配達可能な商品を頻繁に購入できるほどの所得水準を持つ多くの既存のアマゾン顧客の住む密集地域の郵便番号を特定することで、配達費用が最も低い地域でサービスを開始しました。 同社は、顧客に郵便番号を入力させて、即日配送がサービスを提供しているかどうかを確認できるWebページを提供しました。 ブルームバーグ・ニュースの調査ジャーナリストは、 Amazonのサービスエリアの地図を作成して即日配達.
ブルームバーグの分析によると、多くの貧しい都市部はサービスエリアから除外され、より豊かな近隣エリアが含まれていた。 これらの除外された貧しい地域の多くは、少数民族が主に住んでいました。 例えば、ボストンのすべてがRoxburyを除いてカバーされていた。 ニューヨーク市のカバレッジには、ほぼすべての4つの地区が含まれていたが、ブロンクスは完全に除外されていた。 シカゴのカバレッジは貧困層の南側を去ったが、北部と西部の郊外の豊かな住民には実質的に及んだ。
データ主導型の決定は偏っていないと信じるのは魅力的ですが、 研究と学術討論 それを実証し始めている 不公平と差別が残っている。 私の データ倫理に関するオンラインコース、学生はそれを学ぶ アルゴリズムは弁別できる。 ブルームバーグの研究が示唆しているように、データに基づいて判断を下すことで、バイアスが発生したときを簡単に検出できるようになるかもしれない。
バイアスは意図的ではない
Amazonの配送ポリシーのような不公平は、 隠れた偏り - 集団が一様に分布しているという前提など。 アルゴリズムの設計者は、差別的ではない可能性が高く、問題が蔓延していることを認識していない可能性もあります。
アマゾンはブルームバーグに差別的な意図がないと言ったが、その主張を信じる理由はすべてある。 ブルームバーグの報道によると、 シティ 関係者 & 他の政治家 この問題を解決するためにAmazonで呼び出されました。 会社 追加するためにすぐに移動 もともと除外されていた貧しい都会の郵便番号をサービスエリアに割り当てました。
同様の質問がありました ウバーの質問白人の割合が高い地域にはより良いサービスを提供するように見える。 将来的に発見される意図しないアルゴリズム的差別の小売業やサービス業の例が多くなるであろう。
あまりにも多くのアルゴリズムを要求していますか？
アルゴリズムの決定を不当に要求しているかどうかを検討するために、しばらく時間を止めるべきです。 店舗を運営する企業は、アマゾンと異なるものではない基準を考慮して、常にロケーション決定を行います。 ストアは、お金を使って潜在的な顧客の大きなプールのために便利な場所を持つことを試みます。
その結果、都心の貧しい地域では店舗数が少なくなります。 特に食料品店の状況では、この現象は広範に研究されており、食糧砂漠居住者が新鮮な食料への便利なアクセスを持たない都市部を表すために使用されています。 この 位置バイアス 全体の小売店ではあまり研究されていません。
例として、私は、ターゲットとなる大規模な包括的な小売チェーンの55ミシガンの場所を調べました。 平均所得が州全体の上半分か下半分かに基づいてミシガン州のすべての郵便番号をソートしたとき、ターゲット店舗の16（29％）のみが低所得層の郵便番号に含まれていました。 2倍以上の39ストアが、より豊かな半分からの郵便番号に配置されました。
差別の識別
さらに、デトロイト市には対象店舗はありませんが、裕福な郊外にはいくつかあります。 しかし、Targetが店舗の立地決定において貧しい人々を不当に差別していると主張する一般的な抗議はなかった。 Amazonについての懸念が正当化される主な理由は2つあります.1つは剛性と優位です。
厳格さは、オンライン小売業者の意思決定プロセスと結果との両方に関係しています。 Amazonはサービスエリア内にある郵便番号を決定します。 アマゾンが設定した境界線の真横に住んでいる顧客は、サービスエリア外にいるため、ほとんど何もできません。 これとは対照的に、ターゲット店舗を持たない郵便番号で暮らす人は、まだターゲットに買い物をすることができます。
小売業者が消費者の心の中でどれほど支配的であるかも重要です。 ターゲットは多くの物理的な店舗チェーンのうちの1つにすぎませんが、Amazonは楽しんでいます Web小売業者としての市場支配力したがって、より注意を引く。 このような優位性は今日の特徴です 優勝者全員 ウェブビジネス。
彼らの強固さと支配力がオンラインビジネスに大きな懸念を抱かせるかもしれませんが、私たちはまた、私たちがレンガとモルタルの店舗よりも差別を検出することができます。 従来のチェーンストアでは、消費者がどのくらい遠くに旅行しているかを推測する必要があります。 次の高速道路の出口まで5マイルは、混雑した通りを通って5マイルほど離れた町の向こう側に同じ道がありません。 さらに、旅行時間自体は、時間帯によって大きく異なる可能性があります。 ストアが役立つ可能性の高い領域を特定した後、レースや収入に関する統計がある地理的単位にきれいにマップすることはできません。 要するに、分析は面倒で多くの努力が必要です。
これとは対照的に、ブルームバーグのジャーナリストは、Amazonのサービスエリアの地図を作成し、収入やレースと関連づけるのにわずか数時間しかかかりませんでした。 Amazonがこれを内部的に行った場合、数分で同じ分析を実行できた可能性があります。問題を発見し、同じ日のサービスが開始される前に修正していた可能性があります。
人間はどのように比較するのですか？
非常に異なる例を見て、同じ点がどのように広く適用されるかを見てみましょう。 最近、ProPublicaが公開されました 人種差別の優れた分析 犯罪者が再び怒りを覚える可能性を予測するアルゴリズムによって実行されます。 このアルゴリズムは、数十の要因を考慮し、確率推定を計算する。 ProPublicaの分析では、レースが考慮された特定の要因の中になくても、重要な体系的な人種的偏見が見つかった。
アルゴリズムがなければ、人間の裁判官は、判決または仮釈放の決定の一部として同様の見積もりを行うでしょう。 人間の決定は、犯罪者の法廷の態度など、より豊富な要素を考慮する可能性があります。 しかし、私たちは知っているから、 心理学の研究、その 人間の意思決定はバイアスに満ちている私たちが公正になるよう最善を尽くしても。
しかし、人間の裁判官の決定における偏見に起因する誤りは、裁判官によって異なる可能性があり、同じ裁判官によって異なる決定がなされた場合でもそうである。 集計では、人種差別がある可能性があります 潜在的なバイアスこれを確定的に確立するのは難しいです。 米司法省の調査によると、 白と黒の有罪判決における格差レース自体がその決定の要因であったかどうかを明確に判断することはできませんでした。
対照的に、ProPublicaが見たのとまったく同じアルゴリズムは、多くの州で数千のケースで使用されています。 その剛性と大量は、差別をするかどうか判断する作業を容易にし、問題を効率的に修正する方法を提供することができます。
情報技術の使用は、より明るい線をつくるように思えます。そして、この違いに関するデータははるかに容易に入手できます。 昨日の敷物の下で磨かれていたものは今注目を集めています。 データ駆動型アルゴリズムの使用がますます増えているため、特に新しいデータベースのサービスを展開する前に、公平性を分析するのは一般的ではありません。 そのようにすることは、これらますます重要になるコンピュータ化された計算の公平性を測定し、改善するための長い道のりになります。
著者について
HV Jagadish、Bernard電気学会コンピュータサイエンス学科教授、 ミシガン大学
関連書籍
at InnerSelfMarketとAmazon
