私達は政府が私達についての決定をするのに使用するアルゴリズムを知る必要があります

刑事司法制度、信用市場、雇用の場、高等教育入学プロセス、さらには ソーシャルメディアネットワークデータ駆動型アルゴリズム 今意思決定を推進する 私たちの経済的、社会的、そして市民生活に触れる方法で。 これらのソフトウェアシステムは、大規模な集団にわたって一貫した治療を可能にする人為的なまたはデータに誘導される規則を使用して、情報をランク付け、分類、関連付け、またはフィルタリングします。

しかし、これらのテクニックによって効率が向上する可能性がありますが、 不利な立場にあるグループに対する偏見 or 構造的差別を強化する。 例えば、刑事司法に関しては、幅広い人々の集団にわたって測定された統計的傾向に基づいて個人の仮釈放の判断を下すことは公平ですか? 統計モデルの適用から差別が生じる可能性があります 別の人口統計学的に異なる人口に1つの州の人口のために開発された?

一般大衆は、政府機関を含め、公共の分野で使用されるアルゴリズムの偏りと能力を理解する必要があります。 私が関わっている努力は アルゴリズム的説明責任は、そのような種類のシステムの影響をより明確にし、より広く理解されるように努める。

既存の透明性技術をアルゴリズムに適用すると、人々はそれらのシステムがどのように機能しているかを監視、監査、批判することができます。 残念ながら、政府機関は、個人および一般の人々の両方に重大な影響を与えるアルゴリズムおよびその決定における使用法についての問い合わせには不向きです。

一般公開された精査のためのアルゴリズムの公開

昨年は 連邦政府は勉強を始めました 刑務所の受刑者が釈放されたときに再防衛の可能性を判断するのを助けるためにコンピュータ化されたデータ分析を使用することの賛否両論。 個人を低、中、高リスクとして採点すると、住居と治療の決定に役立ち、最低限の警備刑務所や「中途半端な家」に安全に派遣できる人、または特定の種類の恩恵を受ける人を特定できます。心理的ケア。


インナーセルフ購読グラフィック


その情報は、司法プロセスをより効率的かつより安価にし、さらに刑務所の混雑を減らすことができます。 高リスクの犯罪者のような低リスクの犯罪者を治療することが示されています いくつかの研究では 彼らを内科化させ、「病気の」犯罪者であり、彼らの逸脱した行動の治療を必要としている。 したがって、それらを分離することは、解放時に再犯を招くであろう否定的な行動の発達を減らすことができます。

被収容者の再犯リスクを記録するためのデータとアルゴリズムはすでに存在します。 州によって広く使用されている 裁判前の拘留、保護観察、仮釈放、さらには判決を管理するため。 しかし、彼らは気付かれずに行くのが簡単です - 彼らはしばしば想定外の官僚的事務処理のように見えます。

通常、アルゴリズムは、基礎となる計算をほとんど理解せずに公務員によって記入される単純化されたスコアシートにまとめられています。 例えば、事件労働者は、囚人が暴力犯罪で有罪判決を受け、最初の逮捕時に若く、高校を卒業していない、または高等学校を卒業していないとマークした形で囚人を評価するかもしれない。 GED 人や犯罪についてのこれらの要因や他の特性は、受刑者が仮釈放のレビューに適格かどうかを示唆するスコアをもたらします。

フォーム自体、およびそのスコアリングシステムは、検討中の変数や全体的なリスクスコアを形成するためにそれらがどのように組み合わされるかなど、アルゴリズムに関する重要な機能を開示することがよくあります。 しかし、アルゴリズムの透明性にとって重要なことは、そのようなフォームがどのように設計、開発、評価されたかを知ることです。 その時になって初めて、スコアにたどり着くことに関わる要因と計算が公正かつ合理的であるか、または情報がなく偏っているかを知ることができます。

情報自由法の利用

私たちがこれらのフォームとその裏付けとなる資料を手に入れるための私たちの主な手段は、法律、そして特に情報の自由に関する法律です。 それらは、政府の透明性を確保するために公衆が自由に使える最も強力なメカニズムの1つです。 連邦レベルでは、 情報自由法(FOIA) 国民が正式に連邦政府に文書を要求し、その見返りとして受け取ることを許可する。 類似の法令が存在する 各州について.

1966で制定されたFOIAは、コンピューティングが広く使用される前、そして大量のデータがソフトウェアシステムで日常的に使用されて個人の管理や予測が行われるかなり前に作成されました。 があった いくつかの初期調査 FOIAがソフトウェアのソースコードの開示を容易にすることができるかどうかについて。 しかし、現在の法則が21st世紀の公衆のニーズに対応しているかどうかについての疑問が残っています。

アルゴリズムの透明性に関する事例研究

私はこの質問に答えることにしました。 フィリップメリルカレッジオブジャーナリズム メリーランド大学で私は助教授です。 2015の秋に、私の同僚のSandy Baniskyのメディア法クラスと協力して、私たちは学生に各50州へのFOIA要求の提出を指導しました。 仮釈放および保護観察、保釈または判決の決定など、刑事裁判で使用されるアルゴリズムに関連する文書、数学的説明、データ、検証評価、契約およびソースコードを求めました。

一学期にわたるプロジェクトとして、努力は必然的に時間によって制約され、多くのハードルと比較的少ない成功を収めました。 多くのジャーナリストの捜査と同様に、誰に尋ねるのか、そしてどのように尋ねるのかを考え出すことでさえも困難でした。 さまざまな機関が刑事司法制度のさまざまな分野に責任を負う可能性があります(判決は裁判所によって行われることがありますが、仮釈放管理は矯正局によって行われる)。

適任者を特定した後でさえも、学生は、政府職員が異なる用語を使用していて、彼らが欲しい情報を伝達することを困難にしていることを発見した。 時には、学生は「刑事司法のアルゴリズム」をデータに精通していない公務員に説明するために一生懸命努力しなければなりませんでした。 振り返ってみると、「リスクアセスメントツール」を求めることは、州政府によってよく使用される用語であるため、より効果的である可能性があります。

答えを処理する

コロラド州など一部の州は、アルゴリズムがソフトウェアに含まれていると言って、私たちの要求を否定しました。 ソフトウェア使用の開示については、州ごとに異なる規則があります。 これは2004のように時々裁判所で表面化しました デトロイト市に対する訴訟 隣接する都市に課される水道料金の計算式を公表すべきかどうかについて。

私たち自身の努力で、私たちは刑事司法のアルゴリズムについての数学的記述を1つだけ受け取りました。 16変数とその重み 再犯を予測するために使用されているモデルで。 ノースダコタ州は、被収容者が仮釈放の対象とみなされるのに適した日付を決定するために使用される式を示すExcelスプレッドシートを発表しました。 アイダホ州とニューメキシコ州から、我々はそれらの州が使用した再犯リスク評価のいくつかの説明を含む文書を受け取ったが、それらがどのように開発され検証されたかについての詳細は示さなかった。

9つの州は、情報が本当に会社によって所有されているという主張に彼らの刑事司法アルゴリズムについての詳細を開示することへの彼らの拒絶を根拠としました。 この意味は、アルゴリズムをリリースするとそれを開発した会社に害があるということです。 一般的な再犯リスクアンケート LSI-Rと呼ばれるは、著作権で保護された商品であることがわかりました。 ハワイやメイン州などの国は、それが公に開示されていないと主張した。

ルイジアナ州は、新しいリスクアセスメント手法の開発者との契約により、要求された情報の6か月間の公開を禁止したと述べました。 ケンタッキー州はその契約を 慈善財団 理由としてそれはそれ以上の詳細を明らかにできなかった。 専有情報についての懸念は合法的かもしれませんが、政府が日常的に民間企業と契約していることを考えると、説明可能で正当な正義の司法制度に対してこれらの懸念をどのようにバランスさせるのでしょうか。

改善を行う

FOIA改革の大いに必要なものは 現在審議中 議会によって。 これは法律が近代化される機会を提供するが、提案された変更は依然として政府におけるアルゴリズムの使用の増加に対応するためにはほとんど役に立たない。 アルゴリズム透明度情報 成文化される可能性があります 政府が通常の業務の一部として、定期的に生成し、公表するという報告書を作成する。

社会として、私たちは、公共の情報担当官が識字率が高く、一般の人々がアルゴリズムを求めているときに遭遇する可能性のある用語に精通しているように訓練を受けることを要求すべきです。 連邦政府は、「自動化アルゴリズム」、つまり政府の自動化についてコミュニケーションをとり、現場での問い合わせを行うことを目的とするオンブズマンのための新しい立場を作成するかもしれません。

私たちの調査で受け取った文書のどれも、刑事司法リスク評価フォームがどのように開発または評価されたかを私たちに教えてくれませんでした。 アルゴリズムがますます多くの私たちの生活を支配するにつれて、市民はより多くの透明性を必要とし、そして要求しなければならない。

著者について

diakopoulos nicholasコロンビア大学のデジタルジャーナリズムのための牽引センターの牽引フェロー、Nicholas Diakopoulos氏。 メリーランド大学ジャーナリズム助教授。 彼の研究は、アルゴリズムの説明責任、物語のデータの視覚化、そしてニュースでのソーシャルコンピューティングに重点を置いた計算およびデータジャーナリズムの研究です。

この記事は、最初に公開された 会話。 読む 原著.

関連書籍

at InnerSelfMarketとAmazon