【論文】優れた知見を引き出すためには「匿名での論文審査」を取り入れるべきだという議論［03/09］
■ このスレッドは過去ログ倉庫に格納されています
社会をよくするために世界中の研究者がさまざまな課題に取り組んでいますが、研究を進めて実体化するために避けては通れないのが、
研究費用の補助金「リサーチグラント」を得るためのグラントレビューと呼ばれる審査です。
しかしこの制度には、論文を作成した研究者が誰であるのか、その人物の過去の経歴などが判断に関わることで、
審査の結果にバイアスが存在するという見方があります。
この問題を解消するために、論文の審査はその中身だけに基づくべきだという意見を、
かつて審査に携わっていた人物が表明しています。
Fund ideas, not pedigree, to find fresh insight
https://www.nature.com/articles/d41586-018-02743-2
デンマークのオールボー大学教授で、
コペンハーゲンにある民間基金Lundbeck Foundationで役員を務めるThomas Sinkjær氏は、
2013年頃にDanish National Research Foundation(デンマーク国立研究基金)にディレクターとして携わっていた経験から、
研究者の経歴や背景に基づかないグラントレビューの必要性を唱えています。
デンマーク国立研究基金に携わっていた頃、Sinkjær氏は博士研究員(ポスドク)や研究職の初期段階にある研究者に対して、
資金援助者がいかに彼らの研究にとって重要であるかを尋ねる会合を持ったとのこと。
すると若い研究者からは、本当に研究したい内容のための申請書を作成するのではなく、
「補助金を得やすそうな内容」で申請を行っているという実態が述べられたそうです。
また、その段階では真に革新的なアイデアを記さずに隠していることも多いということが明らかにされています。
この理由についてSinkjær氏は、
グラントレビューには「確実に実現できることが確認されている内容」ばかりが選ばれるバイアスがかかっていることを挙げています。
画期的な新しい方法を取り入れるためには、これまでは存在しなかった新しいアイデアを評価する必要もあるはずなのですが、
審査の段階ではどうしても保守的な内容に評価が偏る傾向にあるという問題点です。
査読(ピアレビュー)によって、優れた内容と程度の低い内容がふるいにかけられていることを示す結果を見ることはできますが、
必ずしもそれが「最も優れた内容を見つけ出す」ということには生かされていないという実態が存在しています。
この問題を解決するためにSinkjær氏は、「資金援助者は全く新しいスキームを試し、個々の経験を共有すべき」だと述べています。
Sinkjær氏は、ここで、デンマークの慈善事業団体であるVillum Fondenの方法を紹介することで、新しい方法を提案しています。
Villum Fondenは工業分野および自然科学の分野に援助を行う団体で、
税金が投入されるこの手の団体に比べて比較的余裕のある財政状態にあるとのこと。
2016年にこの団体でディレクター職にあったSinkjær氏は、
かつてない方法で応募者を評価することで革新的なアイデアを見つけ出す手法を試しました。
そこでは、研究提案に関する調査書は情報が伏せられ、3ページ分の説明によって評価されるようになっているとのことで、
評価者側には応募者のバックグラウンドや過去の論文などの情報がわからないようになっています。
偶然にも、同じ時期にドイツの「フォルクスワーゲン財団」も同様の取り組みを行っており、
両者はともにこの手法を「実験」として取り入れていたとのこと。
続きはソースで
関連ソース画像
https://i.gzn.jp/img/2018/03/09/fund-ideas-not-pedigree/00_m.jpg
https://i.gzn.jp/img/2018/03/09/fund-ideas-not-pedigree/03.jpg
GIGAZINE
https://gigazine.net/news/20180308-fund-ideas-not-pedigree/ >>20
そんなんあっても周りが理解できずにレスがつかなくてショーボーンして消え去る
AIとかに精査させると、ネトウヨネトウヨ言い出してしまう可能性が高く危険 理系は大変だよな
研究費貰わないと何もできない
そのためには、何でもしなきゃならない
男芸者だってね
ご苦労様 一から内容で判断は処理量が膨大になるだろ
立場と偏見の処理が重要だと思う >>14
>子供の頃は
現代の人間が賢いとは思っていなかったけど、
賢明さの平均値は時代とともに向上すると楽観的に思っていた。
今はかなり悲観的になっている。 普通、論文を読んだら誰が書いたかぐらいなんとなく分かるだろ。
逆に、それぐらいその分野に精通してないと、査読なんて無理。 フィギュアスケートも全員同じ衣装で覆面で演技させたほうがいいと思う そういえば昔、プロ野球で
王貞治が見逃せば同じコースでも判定がボールになる、という
審判への批判があったな。本当に判定に偏りがあったのか、
あるいはただの言いがかりだったのか、どちらか分からないが 審判の中にも一流とそうでもない格の差があって
批判が当てはまる審判もいたのかもしれない 著者名だけ伏せても
引用文献の傾向から誰かわかるから意味ないんだろうな
とくに分野が細分化してると
やってるネタ自体から誰がやってるのかはある程度想像つくんだろうし 今は電子論文投稿システムみたいなのあるから
そこに投稿すれば日の目は見るだろう
ただ、大量に論文があるから
その中から誰か別の研究者も注目して
注目度があがるのは大変だろう
結局のところ >>22
別に事業でもうけて資金作ってくれてもいいんだけどね
人からお金出してもらうのは大変さね 名前が売れている人の論文が、匿名にしたら霞んじゃうじゃないかwww 論文を作成した研究者が誰であるのか、その人物の過去の経歴などを審査の結果に反映させる
審査員の方が、変えるべきところだろう。匿名にしたところで、審査する側が無能では
なんにもならない。 匿名での論文審査だと、匿名だが暗黙の個人特定は必須だろ。
完全な匿名は1人で100人分の工作で5chを荒らすあの民族の情報操作につながる。
表だった部分だけ匿名であって完全な匿名である必要性はないのだよ まぁ一理はある
発言一つで自分のリアルにおける立場が変わるからね
焦点は論文の内容ではなく評論でいかに自分をよく見せる、失点をしないことになる
社会にいる限りこの制約は大多数の人が受ける
そして実績ではなく他人の評価が重要だから大概そういう人間が高い立場にいる
匿名は匿名で問題はあるけどトータルで考えると人間関係取っ払った匿名の方が研究そのものは捗るだろうね
まぁ既得権は反発するし手間も増えるし実現はしなそう ネームバリューで決められないなんて、日本のおじさん卒倒しちゃうわ ネロ「パトラッシュ…名前さえ書いてればこんな事には…ごめんよ…」 人工知能がインターネット上を巡回するようになれば、
誰にも知られずにひっそりWWWの片隅に保存されていた
未知のアイデアが発見されるかもしれないね。 >>39
上位のプログラマの価値判断が信用できないw
優劣しか関心ない奴に全権持たれるって最悪だからなー
やっつけるより助けるほうが世界は難しいの普遍 アイデアの価値を判定できるほど賢いなら、ネット堀なんかしてないで
賢いものを相手にブレインストームした方がいいんじゃないか またリーマンショック起こる言うてる
賢い人は反復学習するんやろか >>2
大抵の学会の論文誌は、その学会に所属さえしてれば誰でも発表できるが？
欧米の論文誌だとその雑誌を主催している学会に所属してなくてのいいのはいくらでもあるし ◆
もう
日本の大学を 捨てて 海外に出ていった方がいい。
論文はすべて海外で発表しましょう。
日本は
おわんこ。 しじみ ★ sage New! 2018/03/09(金) 11:05:04.50 ID:CAP_USER
社会をよくするために世界中の研究者がさまざまな課題に取り組んでいますが、研究を進めて実体化するために避けては通れないのが、
研究費用の補助金 社会人入学の盛んな今
まず費用稼いでから研究するという考え方があってもいいと思う 今は電子的なデーターとして論文をファイルサーバーに貯蔵するだけで済むので
印刷したり送付したりなどは要らずに物理コストはファイルの容量と転送の
通信料金だけなのだから、昔のように容量の制約から載せるか載せないかを
判断する必要性は無くなったと言えるだろう。やるのなら、オリンピックの
競技の採点のように、審判団が点数を付けてサーバーにみな片っ端から
登録すれば良い。
その場合、著者は、審査料を払い、さらにファイルの永久保管料として
ファイルサイズに比例した額を納付すれば良い。そうして、読者は無料で
読めるあるいは、ダウンロードするファイルサイズに比例した額を払う。
読者が金銭をダウンロードに際して払う場合には、その額の一部を著者が
受け取れるようにすれば、最初の投稿時の審査料やファイルの永久登録料
が回収できるかもしれないし、メガヒットすれば、その一種の印税が
研究の為の資金や生活資金の一部となる場合も考えられるだろう。
読者は、レーティングの高い論文だけを読むようにすることも出来るし、
キーワードなどでサーチして必要と思われるものをレーティングと無関係に
読むこともできるだろう。著者は世間的な評価を高めるためには、
良いレーティングで掲載されるように努力すれば良い。そうしてもしも
レーティングの点数に不満があれば、論文を（審査料は払うが）撤回して
他の同様の論文投稿先へ掲載を狙っても良いとする。ただし、投稿された
ことを証明する記録は残っていて、もしも審査員が内容を横流ししていたら
それを告発する根拠は維持されるものとする。
著者は単に公知のものとして広めたいだけならば、レーティングが0でも
構わず掲載に同意すれば良いのだ。 >>49
査読の理由は容量だけじゃないよ。玉石の石比率が高いリストしか
存在しない状況だと研究者集団の生産性が下がってしまうから
査読の厳格さを追求する論文誌が存在することが重要なのよ
レーティングがいいね的なものを指しているとしたら
学術論文誌でそれは絵に描いた餅でしかない。
ろくでもないランキングしか得られない。
査読は、少なくとも原則は順位付けではない。
査読で必須なのは筋が通っているかと新規性（別手法の同結果はあり）。
「筋の通った（したがって見破れない）嘘」ははじかないし、銅鉄の退屈な話もはじかない
（退屈は国際会議でははじかれる）。 そうなら10点満点方式では無くて、審査員が（ｎ人居て）
筋が通っていると何人判断したか、
新規性があると何人が判断したか、
がついてDBに登録されれば良いだけ。
それでもやはり内容の良さや重要度に応じた
点数付けはあっても良いだろう。
査読は原則は順位付けではないといっているものの、
現実はインパクトファクターなる商業主義的数値が
あって、予算を出す側や採用側がそれを利用している。
これはやっぱり一種の点数付けじゃないのかな。
そうであるのに、同じIFのジャーナルに乗った
二つの論文が必ず同じインパクトを持つとは思えないのだが。
良いものもあるだろうしそれほど良くないものもあるだろうし、
それが同じ雑誌にのれば同じ価値として評価される。また、
審査、掲載時とその後（数年後、数十年後）とではその論文への
一般的な評価や価値が変わることだってあるのだろうが。 査読って家事当番みたいなものなんだよ。
流行から遠い研究などでは、義務的に査読者を割り当てる必要がある。
当番がなければ読まれず見落とされるかもしれない。もしかしたら重要かもしれないのに。
研究者にとって自分が読むべき論文を見落とさないことは重要なことだ。
だが、1人1人の研究者が未査読論文すべてについて
自分にとっての要不要判定を行ったとしたら、
判定作業の重複がばかみたいに多い。そういう低効率は科学にとって大きな損失。
重複を減らす手段の一つとして査読のある編集を経た出版というスタイルが実績をあげてきた。
（このスタイルさえあれば他は要らないと言っているのではない） ■ このスレッドは過去ログ倉庫に格納されています
