学術出版を学術出版たらしめ、同時にその信頼性を保証する特徴のひとつに査読があります。査読の重要性に異議を唱える人はほとんどいません。しかし現在のシステムに欠陥があることは、多くの人が同意しています。大きな出版コミュニティが、査読の新しいモデルを導入することで、こうした欠点のいくつかを解消することを目指しているので、私たちは、現在のシステムに何を求め、何を求めるべきでないかについて現実的な感覚を得るために、現在のシステムが抱える限界を見ていきましょう。査読担当者がしないこと:
統計の確認
査読担当者も、つまりは単なる同等の立場の人のひとりです。一般的に査読者は統計学者ではないため、あらゆる種類の統計分析についての専門知識を持っているわけではありません。あなたの研究領域で生成される種類のデータを検査するための一般的、かつ適切な方法を知っている可能性はありますが、通常できるのは検査方法の選択や結果にまつわる明らかなエラーの特定にとどまります。査読者は計算のやり直しはしませんし(あまりにも明らかなエラーが出て、すぐに確認する方法を知っている場合を除き)、査読者にそこまですることは求められてはいません。
統計に関するローデータ（Raw Data)の検証
査読者はローデータのチェックもしません。ローデータのチェックをしていたなら査読に膨大な手間と時間を取られることになるため、独自にデータを収集した研究の場合、査読者が目にする原稿には収集したデータが表記されないこともあります。統計分析の問題が見つかったとしても、査読者から修正について十分な提案ができるとは限らないので、元のデータを再チェックして問題を修正するのは著者の責任になります。
実験の再試行/再現性の検証
全てのローデータのチェックと同様、査読者にこれを求めるのは現実的ではありません。実験の再試行も同様です。査読者は、実験を再現するのに必要なだけの詳細が原稿に書かれているかどうかを確認はしますが、実際の検証は査読者の仕事の範囲をはるかに超えています。
著者の詳細の検証
著者が誰かを正しく特定することは、最近の学術出版が抱える課題のひとつです。原稿に記載された著者名や所属先が偽りのものである、あるいは知らないうちに論文の著者として名前を載せられていたという例があります。原稿に記載された名前を査読者が知っていることもあるかもしれませんが大抵そうはいかず、著者名を伏せた上で査読をしている場合もあります。記載された著者が全員本当の著者であるかどうか、また所属は正しいかどうかをチェックするのは難しいタスクであり、査読者が提供する専門知識の浪費です。したがってこの点については、著者の誠実さに委ねられています。
利益相反の検証
利益相反は、論文中のバイアスの受け取られ方に強い影響を及ぼします。なので言うまでもなく、潜在的な利益相反を明示しておくのはどんな論文にも欠かせません。その上で、著者が明示したことの正当性の検証と調査、および著者が明記しなかった利益相反を探し出すことは査読者にとって不可能に近いことです。当然のこととして査読者は、そうした明記がされているかどうかを確認し、関連するバイアスを論文中で見つけたならマークしておきますが、査読者に求められる役割の範囲はここまでです。
理想的には論文の出版前にこれら全てを検出できるのですが、今あるシステムでは現実的ではありません。その上でなお査読者はチェック要員として不可欠であり、論文の改善や、結果の解釈に影響する重大な欠陥の発見を助けてくれるものです。これらのことを念頭に置けば、完璧な研究などないことを理解する助けになると思います。とはいえ、ある分野で論文を発表する人が増えれば、他と比べて影響力の多い研究はどれかを解き明かしやすくなります。論文を読む際には内容を鵜呑みにせず、出版後に欠点が見つかっても短絡的に出版システム全体を攻撃するのは避けてください。こうした発見がゆっくりと、しかし確実に新しい査読モデルの構築と強化に貢献していき、うまくいけばいつの日か前述のリストが過去のものとなるでしょう。
こうした課題に対処するための新しい取り組みについて詳しい情報をお求めの方は、下記リンクを参照してください。
PLOSデータポリシー
The Reproducibility Initiative
『サイエンス』などの雑誌で増える、統計の精査