研究の良し悪しを決めるのは量か、質か？

大学ランキング、インパクトファクター（IF）、論文の被引用回数――。こうした指標は研究成果の優劣を測る尺度してよく用いられているが、数量的な指標は時代遅れで科学の発展を阻害しかねないとの批判が上がっている。スイスには新たな研究評価方法の推進が期待されるが、数量的指標からの脱却はそう簡単にはいかないようだ。 

PLACEHOLDER

スイス学術会議外部リンクの最近の報告書によると、研究者の雇用、論文発表、民間投資などの研究活動はここ数十年間で大幅に増えた。その反面、助成金や賞の獲得、大学での地位、権威的な科学雑誌への論文投稿など、研究評価に関わる競争はかつてないほど激化した。 

「publish or perish（発表か死か）」という言葉もあるように、論文を発表しなければ研究者として埋没するという圧力が高まっており、研究評価では論文の被引用回数外部リンクやインパクトファクター外部リンクといった数量的な指標（囲み枠参照）の重要性が増している。そのため研究者はできるだけ多くの論文発表に駆り立てられる。

一般的な研究評価方法 

h指数外部リンク：　研究者が発表した論文数と論文の被引用回数を基に算出した指数。研究者の生産性とその研究分野での影響力を指し示すとされるが、あまりにも単純なため各研究分野の比較はできないとの批判がある。 

インパクトファクター（IF）外部リンク：　特定の研究分野における学術誌の影響度を示す指数。一つの学術誌に掲載された論文が過去２年間に引用された平均回数を基に算出される。IFはシンプルな比較方法だが欠点もある。論文の質が直接評価されず、他分野と必ずしも比較できるわけではない点だ。また、一部の論文で被引用回数が高いと、その学術誌のIF指数が引き上げられる可能性もある。 

大学ランキング外部リンク：　知識移転、引用回数、教育充実度などを基に大学を評価したもの。資金、研究者、学生の獲得を目的に競争に乗り出す大学や研究所が増えていることから、世界の大学を対象としたランキングは大学の質や影響度を測る有効な手段として広まった。しかし、こうしたランキングは大学や研究機関が順位を上げるためにインパクトの強い研究を偏重し、教育責任と社会的責任を軽視することにつながりかねないとの批判外部リンクがある。

これは現代の科学研究における「パラドックスだ」と、スイス自然科学アカデミーのアントニオ・ロプリエノ会長は最近ベルンで行われた会議外部リンクで話している。 

「確かに、現在の研究評価方法の利用が急激に増え、それと同時に研究資金も増加したことは、非常に喜ばしいと思う。一方、こうした指標の公正さや有効性、妥当性には懸念がある」（ロプリエノ氏） 

そのような懸念に対処するため、スイス学術会議は今年、スイスの学術界に向けていくつかの提案外部リンクを含むリポートを発表。特に質的指標を用いて数量的な指標を（代えるのではなく）補うなどして、研究の評価方法や資金援助のやり方を変えるよう求めた。 

リポートには次のような記述がある。「（数量的な）指標は近年、質を評価するための代替物として使われることが多くなったが、これは研究者に誤った動機を与え、研究の質を脅かす。（中略）研究分野は多岐にわたり、研究機関はそれぞれに合った評価方法を求めている。そのことを踏まえた国家戦略が推進されるべきだ」

単なる数字ではない 

数量的な指標は元々、研究評価を厳密に行うためのものだった。しかしこうした指標が過度に重視されれば、研究評価にゆがみが生じ、研究者にとっても多大なストレスを招くことになる。 

「グーグルによると私のh指標外部リンクは４８だ。つまり私はこれまで４８本の論文を発表し、その論文が少なくとも４８回引用された。自分が一つの数字で表されるのには抵抗があるが、世界には私のことを一つの数字で考える人もいる」と、前出のベルンでの会議に出席していた英インペリアル・カレッジ・ロンドンのスティーブン・カリー教授（構造生物学）は語る。 

「研究成果の一面を表すのに数字は使えるが、研究はそもそも人間活動と深く結びついており、研究の優劣を単純に測ることは出来ない。研究成果を評価するには審査や議論を行い、専門家の意見を聞かなければならない」（カリー氏） 

カリー氏は、研究評価に関するサンフランシスコ宣言（DORA）外部リンクの運営委員会長を務める。DORAのように現在の研究評価方法の見直しを求めた宣言が近年、いくつか発表されている。従来の評価方法では、評価が低いために研究が中断に追い込まれることもあるが、宣言では研究の継続を妨げない程度の包括的な方法で研究者と研究機関が評価されるよう、新しい指針が定められている。

質を数量化する 

批判の中には、h指標などの数量的指標は歪曲されやすく、その算出方法や用途が不透明という指摘もある。また数量的指標が重視されると順応主義や画一性に重きを置いた研究が優遇され、個性的でハイリスク・ハイリターンな研究はないがしろにされるとの批判もある。 

研究は自室にこもる一部の学者のためだけでなく、社会全体のためにあるとするならば、こうした指標は特に問題だと、ダブリン工科大学の高等教育政策研究ユニット責任者、エレン・ヘイズルコーン氏は指摘する。 

同氏はさらに、毎年多くの注目を集めるタイムズ世界大学ランキング外部リンクなどの評価基準は、社会全体への貢献度ではなく大学の研究成果だけに着目するため「あらゆる層の人々から成り立つ社会において極めて不適切」と考える。 

「ランキングは単純で分かりやすいが、その指標によって社会ではますます不平等化や階層化が進む。そして公共財へのアクセスに影響が出る」 

研究者や学術誌の評価を示す論文被引用数やIFなどの指標は、その単純さも大きな魅力だとカリー氏は言う。「指標は簡単に計算でき、一見すると客観性があるかに見える。そのため魅力的で、指標を使えば物事が簡単になる」

プレッシャーと名声 

だがそれには代償も伴う。カリー氏によると、こうした尺度を過度に重視すると、研究者は世界で名高い学術誌にできるだけ論文を投稿しようとするため、論文が却下されたり撤回されたりする恐れが出る。特に撤回の場合は科学に対する社会の信頼が損なわれる可能性もある。 

さらに研究の焦点が論文発表や名声の獲得に絞られると、教育や広報活動、若手研究者の指導など他の重要な活動が過小評価され、結果的にないがしろにされることも考えられる。 

DORAに賛同する個人や団体の署名数は現在約１万４千筆。２０１５年に発表されたライデンマニフェスト外部リンクにも多くの研究者たちから支持が集まっている。この二つの宣言では数量的指数への依存度を下げること、または少なくとも研究の中身を評価する質的指標と組み合わせて利用することが求められている。

新たな代替案 

科学はいまだ急速に発展を続け、どの研究者も優れた業績を収めたいと考える。そのため「安直な」指標は魅力的に見えるが、研究の現場で包括的な評価方法（時間がかかることもある）に比重が置かれるようにするには、どうすればよいだろうか？ 

答えの一つは研究評価に「ポートフォリオ手法」を用いることだと、ライデンマニフェストが誕生したオランダ・ライデン大学の科学技術研究センターで副センター長を務めるサラ・デ・レイッケ氏は語る。この手法はあらゆる状況、研究機関、研究者にも適応できるという。 

「問題に画一的に取り組んでもあまり効果がない」とレイッケ氏。理由は、従来の評価方法で最もメリットがあった研究の種類が分野によって違うからだ。そのため全般的な指針を定め、研究者の評価にはその人の業績（主要論文、助成金、学生の教育、ソーシャルメディアを含む）、専門知識、研究および社会に与える影響力が記された経歴書を判断基準とすべきだと同氏は言う。 

DORA運営委員会はポートフォリオ手法を用いた事例をホームページ上に掲載している。例えば、これまで発表してきた中で最も優れた論文および寄稿文を書式化した略歴にまとめるよう研究者に求めた機関外部リンクの事例が挙げられている。

スイスの責務 

スイスは他の欧州諸国に比べ研究資金が潤沢で、制度上の要件が柔軟なため、世界に向けて評価方法を変えていくよう取り組む義務があると、スイス自然科学アカデミーのロプリエノ氏は言う。 

「スイスは研究資金を十分確保できるため、諸外国に対し一定の責務があるように思える。そこでスイスは率先して新しい試みをしたり、解決策に取り組むなどして現状の問題点を克服する方法を探るとよいだろう」（ロプリエノ氏） 

最大の難点の一つは、研究成果を評価するための指標を今後増やしていく中で、キャリアの浅い若手研究者への支援を確保することだと、同氏は付け加える。 

「解決策としては、比較的長期の研究プロジェクトをもう少し長い目で見ることだと思う。現在は支援も資金援助も短期的な傾向があるが、それは競争原理に沿ったことだ。もっと長期的な資金援助ができれば、キャリア初期の研究者にはプレッシャーが減り、研究環境はより公平なものになるだろう」

（英語からの翻訳・鹿島田芙美）