顔認識テクノロジーは人種的にどのように欠陥があり、偏っているのか

顔認識テクノロジーは人種的にどのように欠陥があり、偏っているのか
顔認識アルゴリズムは通常、白い顔を使用してテストされます。そのため、このテクノロジーでは人種化された個人を区別できません。 (シャッターストック)

デトロイト警察は2020年XNUMX月にロバートジュリアンボルチャクウィリアムズを不法に逮捕 XNUMX年前に起こった万引き事件について。 ウィリアムズは事件とは関係ありませんでしたが、ミシガン州警察によって使用された顔認識技術は、別のアフリカ系アメリカ人の男性がUS $ 3,800相当の時計を取っている店内監視ビデオから得られた粒子の粗い画像と顔を「一致」させました。

XNUMX週間後、この訴訟は検察側の要請により却下された。 しかし、警察は誤った一致に頼り、家族の前ですでにウィリアムズを手錠をかけ、逮捕し、マグショット、指紋、DNAのサンプルを提供するように強制し、尋問して一晩中投獄しました。

専門家は、ウィリアムズは一人ではなく、他の人も同様の不正にさらされてきたと示唆しています。 警察によるClearview AIの使用について進行中の論争は確かに顔認識技術によってもたらされるプライバシーのリスクを強調しています。 しかし、それを認識することが重要です 私たち全員がこれらのリスクを平等に負うわけではありません.

人種差別主義アルゴリズムのトレーニング

ある顔認識技術 白人の顔に訓練され、調整された 人種化された個人を体系的に誤って識別し、誤ったラベルを付ける:多くの研究が顔認識技術は「色のある人に対して使用するとエラー率が大幅に高くなり、欠陥とバイアス」という。

この 人種化された人々の個性と人間性を損なう 犯罪者と誤認される可能性が高い人。 このテクノロジーとそれが生み出す識別エラーは、人種差別、性差別、同性愛恐怖症、開拓者-植民地主義およびその他の交差する抑圧に深くからまっている長期的な社会的分裂を反映し、さらに定着させます。


顔認識技術における人種的偏見に関するFrance24の調査。

テクノロジーがユーザーを分類する方法

彼の画期的な1993年の本では、 パノプティックソート、学者のオスカーガンディは、「日常生活を通じて生成される個人やグループに関する情報の収集、処理、共有を含む複雑なテクノロジーが…で生活を定義する商品やサービスへのアクセスを調整および制御するために使用されていると警告しました現代の資本主義経済。」 法執行機関はこれを使用して一般市民から容疑者を引き抜き、民間組織はこれを使用して次のようなものにアクセスできるかどうかを判断します バンキング雇用.

ガンディーは預言的に、チェックされないままにされた場合、この「サイバートリアージ」の形式は、平等を求めるコミュニティのメンバー、たとえば人種化されたグループや社会経済的に不利なグループに指数関数的に不利益を与えることになると警告しました。どのように彼らが自分自身を理解するようになるのか。

約25年後、私たちは現在、ステロイドの全観的分類と共存しています。 そして、ウィリアムズの誤った識別など、平等を求めるコミュニティへの悪影響の例がたくさんあります。

既存のバイアス

アルゴリズムを使用したこの分類は、日常生活の最も基本的な側面に潜入し、その結果として直接的および構造的な暴力が発生します。

ウィリアムズが経験した直接的な暴力は、彼の逮捕と拘留を取り巻く事件ですぐに明らかになり、彼が経験した個々の危害は明白であり、逮捕するためにテクノロジーの「対戦」に依存することを選択した警察の行動にたどることができます。 もっと油断ならないのは 構造的暴力 顔認識技術と その他のデジタル技術 それは、既存の差別的なパターンを拡大する方法で、個人を評価、照合、分類、およびソートします。

構造的暴力の危害はあまり明白ではなく、直接的ではなく、権力、資源、機会への体系的な拒否を通じて平等を求めるグループに傷害を引き起こします。 同時に、これらのグループの個々のメンバーへの直接的なリスクと危害が増大します。

予測ポリシングの使用 新しい犯罪が発生する時期と場所を予測する履歴データのアルゴリズム処理、それに応じて警察のリソースを割り当て、強化された警察の監視を、通常は低所得で人種化された地区のコミュニティに組み込みます。 これにより、警察の対応を促さないような重大度の低い犯罪行為を含むあらゆる犯罪行為が検出されて処罰される可能性が高まり、最終的にはその環境内に住む人々の人生の可能性が制限されます。

そして、他のセクターの不平等の証拠は増え続けています。 イギリスの何百人もの学生 の悲惨な結果に対して16月XNUMX日に抗議しました 等しい、英国政府がどの学生が大学の資格を得るかを決定するために使用した欠陥のあるアルゴリズム。 2019年、Facebookのマイクロターゲティング広告サービス 数十の公共および民間部門の雇用者を支援 年齢と性別に基づいて、求人広告を受信しないようにします。 ProPublicaが実施した調査では、 オンライン製品のレースベースの価格差別。 そして、検索エンジンは定期的に人種差別と性差別の結果を生み出します。

永続的な抑圧

これらの結果は、人種、性別、年齢などの特性に基づいて既存の不平等を永続させ、深めるため、重要です。 彼らはまた、時には私たちが自分自身と私たちの周りの世界を知る方法に深く影響するため、重要です 情報の事前選択 私たちはステレオタイプの認識を強化する方法で受け取ります。 テクノロジー企業でさえ、 アルゴリズムによる差別の永続化の緊急性.

今日まで、テクノロジー企業自身が実施した臨時調査の成功には一貫性がありませんでした。 時折、差別的なシステムの作成に関与している企業は、それらを市場から撤退させることがあります。 Clearview AIは、カナダでは顔認識技術を提供しないと発表しました。 しかし、多くの場合、そのような決定は、規制当局による監視または公の抗議のみに起因します After 平等を求めるコミュニティのメンバーはすでに被害を受けています。

今こそ、規制機関が問題に対処するために必要なツールを提供する時です。 個人の同意を得て企業がデータを取得して再利用できるようにすることにかかっている単純なプライバシー保護は、その使用の差別的な結果から切り離すことはできません。 これは、私たちのほとんどが(テクノロジー企業自身を含む)アルゴリズムが何をするのか、なぜアルゴリズムが特定の結果をもたらすのかを完全に理解することはできません。

プライバシーは人権です

ソリューションの一部は、プライバシーと人権を別々の問題として扱う現在の規制のサイロを分解することを伴います。 同意ベースのデータ保護モデルに依存することは、プライバシーと平等はどちらも契約できない離れた人権であるという基本原則に直面します。

さらに カナダのデジタル憲章 —デジタル環境の現状の欠点に対応する連邦政府の最新の試みは、これらの概念的な違いを維持しています。 憎悪と過激主義、統制と同意、強い民主主義を別のカテゴリーとして扱います。

アルゴリズムによる差別に対処するには、プライバシーと平等の両方を人権として認識し、枠組みにする必要があります。 そして、両方に等しく注意を払い、専門家であるインフラストラクチャを作成する必要があります。 そのような努力がなければ、数学と科学の光沢のある輝きはAIの差別的な偏見を偽装し続け、ウィリアムズに課されたようなおとりが増大することが予想されます。会話

著者について

ジェーン・ベイリー、法学教授、eQuality Project共同リーダー オタワ大学/オタワ大学; Jacquelyn Burkell氏、リサーチ担当副社長、 西大学、そしてヴァレリー・スティーブス、完全教授、 オタワ大学/オタワ大学

この記事はから再公開されます 会話 クリエイティブコモンズライセンスの下で 読む 原著.

enafarZH-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

InnerSelfをフォロー

Facebookのアイコンさえずり、アイコンrss-icon

電子メールで最新情報を取得する

{emailcloak =オフ}

サポート良い仕事!

MOST READ

金権政治対実力主義対意識の進化的運動
金権政治対実力主義対意識の進化的運動
by アミット・ゴスワミ博士

編集者から

InnerSelfニュースレター:10月18、2020
by InnerSelfスタッフ
最近、私たちはミニバブルの中に住んでいます...私たち自身の家、職場、そして公共の場で、そしておそらく私たち自身の心と私たち自身の感情で。 しかし、バブルの中で生きている、または私たちのように感じている…
InnerSelfニュースレター:10月11、2020
by InnerSelfスタッフ
人生は旅であり、ほとんどの旅と同様に、浮き沈みが伴います。 そして、日がいつも夜に続くように、私たちの個人的な日常の経験も、暗闇から明かりへ、そして行き来します。 しかしながら、…
InnerSelfニュースレター:10月4、2020
by InnerSelfスタッフ
Whatever we are going through, both individually and collectively, we must remember that we are not helpless victims.個人的にも集団的にも、私たちが経験していることは何であれ、私たちは無力な犠牲者ではないことを忘れてはなりません。 We can reclaim our power to carve our own path and to heal our lives, spiritually…私たちは自分の道を切り開き、精神的に私たちの人生を癒す力を取り戻すことができます…
InnerSelfニュースレター:9月27、2020
by InnerSelfスタッフ
人類の大きな強みのXNUMXつは、柔軟性、創造性、そして既成概念にとらわれずに考える能力です。 昨日か前日以外の誰かになること。 変えることができます...…
私のために働くもの:「最高のために」
by Marie T. Russell、InnerSelf
「私にとって何がうまくいくか」を共有する理由は、それがあなたにも役立つかもしれないからです。 私のやり方とまったく同じではないにしても、私たち全員がユニークであるため、態度や方法のいくつかの差異が非常によくあるかもしれません…