顔認識アルゴリズムは通常、白い顔を使用してテストされます。そのため、このテクノロジーでは人種化された個人を区別できません。 （シャッターストック）
デトロイト警察は2020年XNUMX月にロバートジュリアンボルチャクウィリアムズを不法に逮捕 XNUMX年前に起こった万引き事件について。 ウィリアムズは事件とは関係ありませんでしたが、ミシガン州警察によって使用された顔認識技術は、別のアフリカ系アメリカ人の男性がUS $ 3,800相当の時計を取っている店内監視ビデオから得られた粒子の粗い画像と顔を「一致」させました。
XNUMX週間後、この訴訟は検察側の要請により却下された。 しかし、警察は誤った一致に頼り、家族の前ですでにウィリアムズを手錠をかけ、逮捕し、マグショット、指紋、DNAのサンプルを提供するように強制し、尋問して一晩中投獄しました。
専門家は、ウィリアムズは一人ではなく、他の人も同様の不正にさらされてきたと示唆しています。 警察によるClearview AIの使用について進行中の論争は確かに顔認識技術によってもたらされるプライバシーのリスクを強調しています。 しかし、それを認識することが重要です 私たち全員がこれらのリスクを平等に負うわけではありません.
人種差別主義アルゴリズムのトレーニング
ある顔認識技術 白人の顔に訓練され、調整された 人種化された個人を体系的に誤って識別し、誤ったラベルを付ける：多くの研究が顔認識技術は「色のある人に対して使用するとエラー率が大幅に高くなり、欠陥とバイアスに設立された地域オフィスに加えて、さらにローカルカスタマーサポートを提供できるようになります。」
この 人種化された人々の個性と人間性を損なう 犯罪者と誤認される可能性が高い人。 このテクノロジーとそれが生み出す識別エラーは、人種差別、性差別、同性愛恐怖症、開拓者-植民地主義およびその他の交差する抑圧に深くからまっている長期的な社会的分裂を反映し、さらに定着させます。
{vembed Y=vSuDE6wvQlU}
顔認識技術における人種的偏見に関するFrance24の調査。
テクノロジーがユーザーを分類する方法
彼の画期的な1993年の本では、 パノプティックソート、学者のオスカーガンディは、「日常生活を通じて生成される個人やグループに関する情報の収集、処理、共有を含む複雑なテクノロジーが…で生活を定義する商品やサービスへのアクセスを調整および制御するために使用されていると警告しました現代の資本主義経済。」 法執行機関はこれを使用して一般市民から容疑者を引き抜き、民間組織はこれを使用して次のようなものにアクセスできるかどうかを判断します バンキング & 雇用.
ガンディーは預言的に、チェックされないままにされた場合、この「サイバートリアージ」の形式は、平等を求めるコミュニティのメンバー、たとえば人種化されたグループや社会経済的に不利なグループに指数関数的に不利益を与えることになると警告しました。どのように彼らが自分自身を理解するようになるのか。
約25年後、私たちは現在、ステロイドの全観的分類と共存しています。 そして、ウィリアムズの誤った識別など、平等を求めるコミュニティへの悪影響の例がたくさんあります。
既存のバイアス
アルゴリズムを使用したこの分類は、日常生活の最も基本的な側面に潜入し、その結果として直接的および構造的な暴力が発生します。
ウィリアムズが経験した直接的な暴力は、彼の逮捕と拘留を取り巻く事件ですぐに明らかになり、彼が経験した個々の危害は明白であり、逮捕するためにテクノロジーの「対戦」に依存することを選択した警察の行動にたどることができます。 もっと油断ならないのは 構造的暴力 顔認識技術と その他のデジタル技術 それは、既存の差別的なパターンを拡大する方法で、個人を評価、照合、分類、およびソートします。
構造的暴力の危害はあまり明白ではなく、直接的ではなく、権力、資源、機会への体系的な拒否を通じて平等を求めるグループに傷害を引き起こします。 同時に、これらのグループの個々のメンバーへの直接的なリスクと危害が増大します。
予測ポリシングの使用 新しい犯罪が発生する時期と場所を予測する履歴データのアルゴリズム処理、それに応じて警察のリソースを割り当て、強化された警察の監視を、通常は低所得で人種化された地区のコミュニティに組み込みます。 これにより、警察の対応を促さないような重大度の低い犯罪行為を含むあらゆる犯罪行為が検出されて処罰される可能性が高まり、最終的にはその環境内に住む人々の人生の可能性が制限されます。
そして、他のセクターの不平等の証拠は増え続けています。 イギリスの何百人もの学生 の悲惨な結果に対して16月XNUMX日に抗議しました 等しい、英国政府がどの学生が大学の資格を得るかを決定するために使用した欠陥のあるアルゴリズム。 2019年、Facebookのマイクロターゲティング広告サービス 数十の公共および民間部門の雇用者を支援 年齢と性別に基づいて、求人広告を受信しないようにします。 ProPublicaが実施した調査では、 オンライン製品のレースベースの価格差別。 そして、検索エンジンは定期的に人種差別と性差別の結果を生み出します。
永続的な抑圧
これらの結果は、人種、性別、年齢などの特性に基づいて既存の不平等を永続させ、深めるため、重要です。 彼らはまた、時には私たちが自分自身と私たちの周りの世界を知る方法に深く影響するため、重要です 情報の事前選択 私たちはステレオタイプの認識を強化する方法で受け取ります。 テクノロジー企業でさえ、 アルゴリズムによる差別の永続化の緊急性.
今日まで、テクノロジー企業自身が実施した臨時調査の成功には一貫性がありませんでした。 時折、差別的なシステムの作成に関与している企業は、それらを市場から撤退させることがあります。 Clearview AIは、カナダでは顔認識技術を提供しないと発表しました。 しかし、多くの場合、そのような決定は、規制当局による監視または公の抗議のみに起因します After 平等を求めるコミュニティのメンバーはすでに被害を受けています。
今こそ、規制機関が問題に対処するために必要なツールを提供する時です。 個人の同意を得て企業がデータを取得して再利用できるようにすることにかかっている単純なプライバシー保護は、その使用の差別的な結果から切り離すことはできません。 これは、私たちのほとんどが（テクノロジー企業自身を含む）アルゴリズムが何をするのか、なぜアルゴリズムが特定の結果をもたらすのかを完全に理解することはできません。
プライバシーは人権です
ソリューションの一部は、プライバシーと人権を別々の問題として扱う現在の規制のサイロを分解することを伴います。 同意ベースのデータ保護モデルに依存することは、プライバシーと平等はどちらも契約できない離れた人権であるという基本原則に直面します。
さらに カナダのデジタル憲章 —デジタル環境の現状の欠点に対応する連邦政府の最新の試みは、これらの概念的な違いを維持しています。 憎悪と過激主義、統制と同意、強い民主主義を別のカテゴリーとして扱います。
アルゴリズムによる差別に対処するには、プライバシーと平等の両方を人権として認識し、枠組みにする必要があります。 そして、両方に等しく注意を払い、専門家であるインフラストラクチャを作成する必要があります。 そのような努力がなければ、数学と科学の光沢のある輝きはAIの差別的な偏見を偽装し続け、ウィリアムズに課されたようなおとりが増大することが予想されます。
著者について
ジェーン・ベイリー、法学教授、eQuality Project共同リーダー オタワ大学/オタワ大学; Jacquelyn Burkell氏、リサーチ担当副社長、 西大学、そしてヴァレリー・スティーブス、完全教授、 オタワ大学/オタワ大学
この記事はから再公開されます 会話 クリエイティブコモンズライセンスの下で 読む 原著.
Amazon のベストセラー リストの不平等に関する本
「カースト：私たちの不満の起源」
イザベル・ウィルカーソン
この本で、Isabel Wilkerson は、米国を含む世界中の社会におけるカースト制度の歴史を調べています。 この本は、カーストが個人や社会に与える影響を探り、不平等を理解し対処するための枠組みを提供します。
「法の色: 政府がいかにアメリカを隔離したかという忘れられた歴史」
リチャード・ロススタイン著
この本では、Richard Rothstein が、米国で人種隔離を生み出し、強化した政府の政策の歴史を探っています。 この本は、これらの政策が個人やコミュニティに与える影響を検証し、進行中の不平等に対処するための行動を呼びかけています。
「The Sum of Us: 人種差別がすべての人に与える代償と、私たちが共に繁栄する方法」
ヘザー・マギー
この本で、ヘザー・マギーは人種差別の経済的および社会的コストを探り、より公平で繁栄した社会のビジョンを提示します。 この本には、不平等に挑戦した個人やコミュニティの話と、より包括的な社会を作るための実際的な解決策が含まれています。
「赤字神話：近代貨幣理論と人民経済の誕生」
ステファニー・ケルトン
この本で、ステファニー・ケルトンは、政府支出と国家赤字に関する従来の考えに異議を唱え、経済政策を理解するための新しい枠組みを提供します。 この本には、不平等に対処し、より公平な経済を生み出すための実用的な解決策が含まれています。
「新しいジム・クロウ: 色覚異常時代の大量収容」
ミシェル・アレクサンダー
この本で、ミシェル・アレクサンダーは、刑事司法制度が人種的不平等と差別、特に黒人アメリカ人に対する人種的不平等と差別を永続させる方法を探求しています。 この本には、システムとその影響の歴史的分析、および改革のための行動への呼びかけが含まれています。
