研究の再現性

インパクトの大きい研究結果は注目されやすいですが、目新しい研究の再現性は決して高くなく（概ね50%未満）、必ずしも普遍的な「真実」とは言えないようです。

人間が行う研究には様々なバイアスが入ってしまいます。

世に出て注目される研究は、ほとんどすべてが”ポジティブな”研究結果です。研究計画で定めたアウトカムに有意な結果が出なかった場合、多くの研究は論文として出版されることはありません（出版バイアス）。

本当は”ネガティブな”結果が真であるにもかかわらず、バイアスのかかった”ポジティブな”結果ばかりがエビデンスとして発表されてしまう、こともあるわけです。

上の図は有名なエビデンスレベルピラミッドですが（出典：日本先進医療臨床研究会のページhttps://jscsf.org/therapeutic-material）、一番エビデンスレベルが高いとされるシステマティックレビュー・メタアナリシスであっても、バイアスとは無縁ではありません。

最近ではこのエビデンスレベルピラミッドは古い概念となりつつありますが、バイアスの少ない研究が信頼性が高いということは間違いありません。

どうしたらバイアスがなく再現性の高い研究を行えるのでしょうか。

研究の質を高めるガイドラインはいくつかあり、論文を発表する際にそれに準拠していることが求められる学術誌もありますが、あくまでも自己申告であり客観的評価が難しい。

人間が行った実験・研究を人間が評価すること自体に限界があるのかもしれません。

Frontiersという出版社（一時期Beall’s Listに載りハゲタカ雑誌と揶揄されましたが、少なくとも現在はそれなりにきちんとした学術誌になっています）は投稿された論文の初期評価をAIが行っているようです。

剽窃・盗用がないか、英語は正しく使われているか、重複出版ではないか、倫理的に問題のある研究ではないか、など自動的に判定されますが、今後はこのようなAIによる研究の質の評価を積極的に行う必要があるでしょう。

一定の基準を満たさない研究は査読に回らないようにすれば、論文の質もある程度向上すると思います。

研究の再現性についてもAIが判定してくれたら良いのですが、そのためには人間が再現実験を複数回行い、そのデータをAIが学ぶ必要があります。

研究の再現性の問題はまだまだ研究者たちを悩ませることになりそうです。