ボリス・ジョンソン英首相の元主席顧問であるドミニク・カミングス氏によると、専門家はそれを壊滅的に誤った判断をした. カミングスは主張した 2020年XNUMX月の英国政府の公式の科学的アドバイスは、パンデミックがどのように展開するかを大きく誤解し、ロックダウンの遅れにつながり、数千人の命を奪った.

Cummings によると、この時点でより正確な予測を行ったのは、データ サイエンティストの Ben Warner、DeepMind の人工知能研究者 Demis Hassabis、数学者の Tim Gowers など、パンデミックや医療に関する知識の少ない一部の専門家でした。

カミングスは、 ファン of スーパーフォーキャスティング Philip Tetlock 著、将来の出来事を他の人よりも確実に予測する人々についての本。 いくつかのスーパーフォレカスター 賞賛されました パンデミックについての彼らの予測のために、他の人も 専門家に批判的 記録。

では、政府は科学の専門家に頼るのではなく、スーパーフォレカスターをもっと活用すべきでしょうか? 証拠はそれほど明確ではありません。 しかし、政府が超予測から学べることは確かにあるようです。

で 有名なアメリカの研究 2014 年に公開されたスーパーフォレカスターでは、彼らはエリートの乗組員でした。 上位 2% の候補者だけが、地政学的予測トーナメントでタイトルを獲得するのに十分なパフォーマンスを発揮しました。 彼らの仕事は、数十の質問に対する答えの可能性に確率を割り当てることでした。

研究者はいくつかの実例を提供します。 2012年にロシアの大統領になるのは誰ですか？ 北朝鮮は今後XNUMXか月で別の核兵器を爆発させるのでしょうか。 来年シリアから逃げる難民は何人いますか？

もちろん、ある人が XNUMX 年間よくやったからといって、その人が他の誰よりも熟練していることを証明するわけではありません。 運が良かっただけかもしれません。 彼らが実際にどれほど「優れている」かを評価するには、その後の数年間で彼らがどれだけうまくやったかを調べる必要があります。

印象的なことに、これらのスーパーフォレストは、トーナメントがさらに XNUMX 年間続いても、その優位性を維持しました。 実際、他のトップパフォーマーだけを含む「超予測チーム」に統合された後、彼らのパフォーマンスは大幅に向上しました。 研究者はまた、チームで作業し、関連するトレーニングを受けることで、コントロール状態の予測担当者と比較して、他の予測担当者のパフォーマンスが向上することもわかりました。

チームとトレーニング

英国のパンデミック計画が「古典的な集団思考バブル」に苦しんでいるという彼の言葉にカミングスを受け入れるかどうかにかかわらず、チームが常に賢明な決定を下すとは限らないことを私たちは知っています。 米国の研究でチームをより成功させたのは何でしたか？

確かなことは言えませんが、研究チームは具体的に、特定の予測を支持する証拠についてより明確に考えることを奨励する正確な質問をすること、「あなたの現在の予測と矛盾する証拠を探す」こと、そして建設的に別の視点を導入することをチームに奨励しました. .

そのような議論はうまくいくかもしれません 集団的判断を改善する & 集団思考から身を守る. チームメンバーが合意に達する必要もありませんでした。 彼らは情報や意見を共有しましたが、それでもアルゴリズムによって組み合わされた個々の予測を行いました。 Superforecaster チームは特に、 非常に熱心、他のチーム メンバーと頻繁に情報を共有し、質問をする。

別の研究で は、どの特定のトレーニング テクニックが最も効果的であるかを詳しく調べました。 XNUMX つのテクニックは、特に高い精度に関連していました。 最初は、いわゆる比較クラスの使用でした。

たとえば、ベネディクト カンバーバッチとソフィー ハンターが XNUMX 年後も一緒にいる可能性を予測しようとしている場合、関連する他の「クラス」、たとえば有名人の結婚のクラス、または結婚全般。 これにより、私は歴史に目を向けて、私の予測を知ることができます。特定の XNUMX 年間で、有名人の結婚の何パーセントが終了しますか?

XNUMX つ目は、利用可能な場合、自分の意見を伝えるのに役立つ数学的および統計的モデルを利用することでした。 XNUMX つ目は、「適切な質問を選択する」ことでした。これは、そのトピックについて他の人よりもよく知っている質問や、追加の調査が成果を上げそうな質問に対する回答の予測に、より多くの時間を費やすことをお勧めします。 しかし、研究者たちは、 トレーニング 全体的にパフォーマンスの向上に貢献した可能性があります。

研究はまたそれを示した 過去のパフォーマンスを追跡すると、精度が向上します -しかし、フィードバックの種類は重要です。 20% の確率で起こると思っていた結果は、実際には 20% の確率で起こりましたか? 90% の確率で起こると思っていた結果はどうですか? この種の情報を受け取った人は、パフォーマンスが向上します。

政府はもっとうまくやれるだろうか？

英国政府は、スーパーフォレストスターのチームに意見を求めることで、COVID-19 に対してより良い対応ができたでしょうか? それが可能だ。 Superforecasters で 良い判断オープン で練習した予報士 メタキュラス （私が参加した）それぞれがCOVID-19でうまくいったようで、Metaculusは 優れた専門家 2020 年 XNUMX 月に。 最近のシリーズ COVID-19 関連の予測の中で、訓練を受けた予測者が専門家よりも常に正確であるとは限りません。 調査の背後にある研究者は、分野の専門家と訓練を受けた予測者からの予測を組み合わせて「コンセンサス予測」にする方法を実験しています。

非スーパーがより良い予測をするのを助けた訓練でさえ有用だったであろうことももっともらしく思われる。 たとえば、カミングスは、疫学モデルに多くの注目が集まっていたが、モデルの仮定と矛盾する証拠 (集中治療室によって報告されたデータなど) は無視されたと主張した。 「あなたの現在の予測と矛盾する証拠を探す」ように訓練された誰かがこれを以前に発見したかもしれないことは確かにもっともらしいようです。

もちろん、文献からのすべての推奨事項が政府の設定で実用的であるとは限りません。 理論的には、政府はそのような推奨事項を自分たちでテストし、有益と思われるものを採用することができます。 残念ながら、測定しないものを改善することはできません。

In スーパーフォーキャスティング、テトロックは、予測の改善に真剣に取り組んでいる組織は、少なくとも内部的には具体的な数値を添付する必要があることを強調しています。 「深刻な可能性」のようなフレーズは、ある人には 20% の確率、別の人には 80% の確率を意味する場合があります。

これはほぼ確実にカミングスが言及していたことです 彼が言ったとき: 「フィル テトロックという男が本を書きましたが、その本の中で、合理的、可能性、可能性などの言葉は使用しないでください。それは皆を混乱させるからです。」 おそらく、評価できる方法で予測を行わない組織が、予測を改善する方法を学ぶ準備ができていなくても、私たちは驚くには当たりません。 上達するためには、まず試してみる必要があります。