あり 複製可能性の危機 科学では、未確認の「偽陽性」は トップの研究ジャーナルでさえも浸透.
偽陽性とは、実際には存在しないときに効果が存在するという主張です。 公表された論文のどの部分がそのような誤った、または誇張された結果を含んでいるのか誰も知りませんが、 その割合が小さくないことを示す.
疫学者のジョン・イオアニディス（John Ioannidis）は、2005の有名な論文でこの現象を最もよく説明しました。なぜ公開された研究結果のほとんどが偽であるのか" Ioannidisが非常に多くの誤った結果をもたらした理由の1つは、p 圧力の研究者が統計的有意性を達成しようとしていることから生じる「ハッキング」。
統計的有意性とは何ですか？
データから結論を引き出すために、研究者は通常、 意義テスト。 簡単に言えば、これは "p 実際に効果がない場合は、私たちのような結果の確率である「価値」を意味します。 もし p 値が十分に小さい場合、結果は統計的に有意であると宣言される。
伝統的に、 p .05未満の値が重要性の基準です。 あなたが p<.05、読者はあなたが本当の効果を見つけたと信じているでしょう。 ただし、実際には影響がなく、誤検知が報告されている可能性があります。
多くのジャーナルは、1つ以上の統計的に有意な影響を報告することができる研究のみを発表する。 大学院生は、神話を達成することをすぐに学ぶ p
達成するためのこの圧力 pハッキング。
ルアーの p ハッキング
説明する p ハッキング、ここでは仮説的な例です。
ブルース氏は最近博士号を取得し、彼の分野でトップの研究チームに加わる権威ある助成金を取得しました。 彼の最初の実験はうまくいきませんが、Bruceは手続きをすばやく洗練し、2番目の研究を行います。 これはより有望に見えますが、それでもなお p .05未満の値。
彼は何かに就いていると確信し、ブルースはより多くのデータを収集します。 彼はいくつかの結果を落とすことにしました。
彼は、彼の措置の1つがより明確なイメージを与えることに気付くので、彼はそれに焦点を当てる。 もう少し微調整してBruceはやや驚くべきことだが実際には興味深い効果を確認する p
ブルースは、彼が 知っていました どこかに潜んでいた。 彼はまた、ヒットする圧力を感じていた p
実際には効果はありませんでした。 統計的に有意な結果にもかかわらず、ブルースは偽陽性を発表しています。
ブルースは、彼が研究を開始した後に様々な措置をとったとして、潜在的な効果を明らかにするために科学的な洞察を利用していると感じました。
- 彼はさらなるデータを収集した。
- 彼は異常と思われるいくつかのデータを落とした。
- 彼は彼の措置のいくつかを落とし、最も有望な人に集中した。
- 彼はデータを少し違って分析し、さらに調整を加えました。
問題は、これらすべての選択肢が作られたことです After データを見る。 ブルースは、無意識のうちに、チェリーピッキングをしているかもしれません。 pp
統計家は、あなたが十分なデータを拷問すれば、彼らは告白すると言っています。 データを見てからの選択肢や調整は疑わしい研究方法です。 これらを使用して、故意にまたはそうではなく、適切な統計結果を達成する p ハッキングこれは公開された重要な理由の1つであり、統計的に有意な結果が誤認である可能性があります。
公表された結果のうち、どの部分が間違っていますか
これは良い質問であり、恐ろしく難しいものです。 誰も答えを知っているわけではありません。さまざまな研究分野で異なる可能性があります。
社会心理学と認知心理学の問題に答えるための大きくて印象的な努力が2015で発表されました。 ブライアン・ノーセック（Brian Nosek）とオープン・サイエンス・センター（Center for Open Science）の同僚の指揮を借りて、 複製可能性プロジェクト：心理学（RP：P） 世界中の100研究グループがそれぞれ100の公開された結果の1つを慎重に複製していました。 全体、 おおよそ40がかなりよく複製した一方、60の場合、複製研究は、より小さいまたははるかに小さい効果を得た。
100 RP：Pレプリケーション研究では、元の研究で報告された効果の半分の大きさの効果しか報告されていませんでした。 慎重に行われた複製はおそらく、おそらくより正確な推定値を与えるでしょう p オリジナルの研究をハックしたので、元の研究は真の影響を平均して2倍に過大評価していると結論づけることができます。 それは驚きです！
避ける方法 p ハッキング
回避する最善の方法 p ハッキングは、データを見た後に選択や微調整を行わないようにすることです。 言い換えれば、疑わしい研究方法を避けてください。 ほとんどの場合、これを行う最善の方法は、 事前登録.
事前登録には、データに適用される統計分析を含む、詳細な研究計画を事前に準備する必要があります。 次に、日付スタンプ付きのプランを、 オープン・サイエンス・フレームワーク またはいくつかの他のオンラインレジストリ。
その後 調査を実施し、計画に従ってデータを分析し、結果が何であれ、それを報告する。 読者は事前登録されたプランをチェックすることができ、分析が事前に指定されていることを確信できます。 p ハッキングした 事前登録は、多くの研究者にとって挑戦的な新しいアイデアですが、将来の道である可能性があります。
むしろ見積もり p 値
への誘惑 p ハックは頼りになる大きな欠点の1つです p 値。 もう一つは、 pむしろ、効果が存在するか、そうではないと言うのが好きです。
しかし、世界は白黒ではありません。 数多くの灰色の影を認識するには、使用する方がはるかに優れています 推定 ではなく p 値。 推定の目的は、エフェクトのサイズを推定することです。エフェクトのサイズは、小さくても大きくても、ゼロでも、あるいは負でも構いません。 推定の点では、偽陽性の結果は、効果の真の値よりも大きいか、またははるかに大きい推定値です。
治療の影響についての仮説研究をしましょう。 この研究では、例えば、治療によって平均で7ポイントの不安が減少すると推定されるかもしれない。 我々のデータから、 信頼区間 - [4、10]の最も良い推定値のいずれかの不確実性の範囲。 これは、7の推定値が、真の影響の不安スケール（治療の実際の平均利益量）の約3ポイント内にある可能性が高いことを示しています。
言い換えれば、信頼区間は、私たちの推定がどれほど正確であるかを示します。 そのような推定値とその信頼区間を知ることは、 p の値です。
私は推定を「新しい統計」の1つと呼んでいます。 技術自体は新しいものではありませんが、データから結論を導く主要な方法としてそれらを使用することは、多くの研究者にとって新しいものであり、大きな前進です。 それはまた、 p ハッキング。
著者について
ジェフカミング、名誉教授、 ラトローブ大学
関連書籍：
at InnerSelfMarketとAmazon
