過去最大規模の科学的再現性の調査を受けて、心理学研究者のグループは、最近発表された心理学研究論文100本の再現を試みて報告している。その報告によると、元の実験の追試にはほとんどのケースで成功したが、元の実験結果を再現できたのは半分に満たなかったという。著者ら――再現性プロジェクト：心理学（Reproducibility Project: Psychology）に参加している、Brian Nosek率いるグループ――は、再現に失敗したからといって必ずしも元の報告が間違っていたとは限らないと強調しているが、彼らの結果には研究結果を再現する際の課題（再現性の予測因子の特定や、再現性改善の実施など）が如実に表れていると述べている。Nosekらがこの共同プロジェクトへの参加を決めたのは、科学分野全体において再現性に関する問題が相次いだのを考慮してのことだった。彼らが計画した公開研究では、心理学者のチームが、2008年に一流の心理学雑誌3誌に掲載された研究論文の中から追試するものを選び、その研究を実施し、データを分析および集計したうえで、さらなる精査のために彼らの手法を公共のウェブサイトで公開した。2011年11月から2014年12月のあいだに、世界中の寄稿者270名によって、さまざまな研究デザインで特徴づけられる100本の研究の追試が完了した。
追試はさまざまな形式で行えるので、追試成功の因子を特定するのは難しかったというが、Nosekらは5つの補足的な指標を用いて因子を特定した。追試が最も成功しやすい予測因子は、研究を実施したチームの特性（経験や専門的知識など）に関係しているのではなく、むしろ最初の研究のエビデンスの強さの違い（元のP値など）に関係していることがわかった。通常の慣例ではP＜0.05なら有意な結果とみなされる。Nosekらは、元の研究のP値が0.05にごく近い場合は、P値がゼロに近い場合に比べて、再現する可能性がかなり低いことを見出した。このグループの取り組みによって、元の研究結果の信頼性が増した場合もあれば、元の研究結果の妥当性を証明するにはさらなる調査が必要であると示唆された場合もあった。概して、驚くような結果ほど再現性が低く、追試を実施するのが困難な結果も同様に再現性が低い、と著者らは述べている。著者らは他の研究者に依頼して別の指標を作成し、この公開データセットの再現性における専門的知識と質の役割を探っている。 https://osf.io/ezcuj/wiki/home/.
###
Note: This paper will be available for free when the embargo lifts at http://www.sciencemag.org.
Article #5: "Estimating the reproducibility of psychological science," by Open Science Collaboration.
Journal
Science