【統計学】「統計的有意」には弊害があるとして800人以上の科学者が反対を表明［03/22］

**しじみ ★** · 2019/03/23(土) 14:28:22.62

「真実はいつもひとつ」のはずですが、真実を確かめるために実験したとしても、必ず1つの結果が得られるわけではありません。例えば薬を投与したとして、効果があるのかないのか実験するとき、「薬の効果は偶然ではない」と統計学的に判断できたとき、その結果を「有意」と呼びます。しかし、この「有意」という言葉に振り回されていると科学者800人が反対意見を表明しています。

Scientists rise up against statistical significance
https://www.nature.com/articles/d41586-019-00857-9

'Statistical Significance' Is Overused And Often Misleading : Shots - Health News : NPR
https://www.npr.org/sections/health-shots/2019/03/20/705191851/statisticians-call-to-arms-reject-significance-and-embrace-uncertainty

20世紀初頭に統計学の開祖、ロナルド・フィッシャーは有意差検定という手法を開発。有意差検定は、薬の効果が「ある」のか「ない」のかははっきりとわからない場合においても、「薬の効果がない」という確率を求め、「ある」のか「ない」のかを結論づけようという手法でした。有意差検定では実験の計測結果から「P値」と呼ばれる確率変数を計算します。例えば、実験結果が起こりえる確率が95％以上である場合は、P値は0.05以下になります。慣例的に科学者は「P値が0.05以下、つまりこの事象が起こりえる確率は95％以上ならば、この実験結果は偶然ではない」と判断し、「有意である」としていました。当初、「有意であるかどうか」は「この実験結果は95％以上の確率で起こりえる」ということを示しているだけのはずでしたが、次第に「有意かどうか」が研究結果の結論を左右するようになり、「研究が発表されるかどうか」や「実験が助成金を受けられるかどうか」などまで支配するようになっているとのこと。
https://i.gzn.jp/img/2019/03/22/scientists-against-statistical-significance/blackboard-with-maths-statistics-equations-and-PZ6Q57W.jpg

アメリカ統計学協会事務局長ロン・ワッサースタイン氏は「実験結果を改ざんして、P値を自分の望む数値に近づける研究者や、実験に意義がある場合でも有意ではないために実験結果を公表しない研究者もいる」と述べています。一般の人々と同様に、科学者も「統計的に有意であれば結果は真である」と信じがちです。ノースウェスタン大学のブレイク・マクシェーン氏は「実験の状況により、実験結果がガラッと変わり得ることはあり得りえます。『真』か『真でない』のかの2択ではなく、もっと曖昧な結論、例えば健康に害があるかもしれない食べ物を食べるならば、『有害か』『無害か』ではなく、『健康に対するリスクはどれくらいだろう』ということを考えることが大切です」とコメントしています。

GIGAZINE
https://gigazine.net/news/20190322-scientists-against-statistical-significance/

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:08:19.54

>>260
つまり統計学だけで判断することなどできずその分野の専門知識に基づいて判断するしかないので
統計学者に問い合わせたところで「総合的な考察が必要、みたいな抽象的な提言」しかできないことは君が理解しているわけだろ？

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:14:12.79

>>263 そんなアホな統計学者は少ないと思う。
その分野の知識がなければ判定できないのは、
>>234　のような場合だけ。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:16:10.91

>>239
理解してないということもあるし、悪用してとにかく有意差が出るように恣意的運用する奴もいるってこと。
金科玉条にp値だけ追っかけたら本質見誤るぞということ。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:21:51.57

>>264
＞その分野の知識がなければ判定できないのは、
＞>>234　のような場合だけ。

だったら早く「その分野の知識」がなくても判定できる状況とその方法を教えてくれよ

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:33:30.81

>>266 二つの薬の風邪が治る早さに有意差がなければ、
二つの薬の効き具合にはっきりした優劣はつけられない、
と判定する。優位な差があれば統計学的には優劣の
判定ができた、と判定する。しかし、その差が
患者にとって重要な違いと言えるかどうかは
統計学では何とも言えない。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:48:16.46

文系の役人や経営者が馬鹿だからだろう。
「有意」の判定基準が確率１％だったとしよう。

では、君が明日０．９９％の確率で雨に降られるとしたら、君は容認できるだろうか？
「明日、雨が降るのは有意でない」なら、雨は無視できよう。
では、君が明日の出張で０．９９％の確率で死ぬとしたら。君は容認できるだろうか？
「明日、君が死ぬのは有意でない」で、納得して出張できようか？

同じ確率１％でも、出来事の種類によっては同じ確率でも、容認できる場合と容認できない場合があるはずだ。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 16:56:45.36

1%が容認できなければその確率を厳しくして0.5%とかにすればいいだけだ
そして絶対に死なないなどあり得ないので死亡率0%を期待してはならない

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:00:10.55

そもそも有意水準とは判定が外れる危険率なので雨の降るリスクと死ぬリスクを同程度と想定することに無理がある

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:12:14.34

>>268 明日死ぬ確率が１パーセントであることと、
明日雨が降らない、という予想が外れる確率が
１パーセントであることは深刻さが違うことくらい、
「文系の役人」も理解していると思うけど。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:16:30.54

薬の場合、二つの薬の効き具合がほとんど違わないのに、
片方がよく効く、と判定してしまった場合の損失を
計算することは難しい。逆に、片方の薬がよく効くのに
ほとんど違わない、と判定してしまった場合の損失の
計算も難しい。だから、５パーセント検定を使っている
ということだと思う。５パーセント検定を否定するのなら、
２種類の間違いのそれぞれ対する損失を求めるしかない
と思う。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:20:49.30

>>257
＞それでは、製薬会社の経営が苦しいからこの薬の効果を
＞高く見積もるべき、みたいな話にもなる。そうならないように
＞するために５パーセント検定が使われている。

効果がない、又は効果があるが差はわずかで無視できる、という事実があったとして意図的にその効果を高く見積もるには以下の2通りしかなく、当然どちらも完璧に防ぐ方法など存在しない
1.実験データを改竄する
2.意図的に誤った計算や解釈を行う

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:23:22.02

>>272
有意水準5%で検定するということは現実に5%の確率で外れることになるわけで外した場合のリスクを見積もらなくてよいわけがない

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:35:55.64

むしろリスクの見積もりが行われて初めて有意水準を何%とするかが決められる
リスクも見積もらずに何%外していいのかなど決められないから

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 17:58:22.16

>>275 そう考えると、今のところリスクの見積もりが
できていないから、平均値の差が意味を持つかどうかを
判定する方法はないことになってしまう。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 18:03:15.63

>>275 その点を重視した場合の解決策は、
新しい薬の効き具合の平均値が既存の薬よりも
少しでも上回っていれば認可する、という方針だろう。
新しい薬の効果が既存の薬と同じ程度でも少しぐらい
下回っていても大きな問題は生じないだろう、と
いう立場である。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 18:03:16.11

だからさっさとリスクを見積もればいいだけだろ

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 18:24:23.08

>>262
薬が優劣かどうかを決めるのであれば当然範疇を超えてるわな
そんな式存在しない
これ以上を優位というのであれば有意と言えるってだけであって
問題の判断を行ってくれるものではない

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 18:25:54.59

>>278 推定でも検定でも、真実からどんなふうに
ズレた結論を出したらどんなリスクが生じるかを考慮すべき
じゃね、みたいなことを言うと、そんなもん、できるわけ
ないだろ、というのが答え。

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 19:31:30.88

風邪薬とがん治療薬の効果の検定結果が間違いの場合どっちがどれだけやばいのか教えてくれ、などと統計学者に聞いたら「そんなもの医者か医学の研究者に聞け」と言われるだろう

**ニュースソース検討中＠自治議論スレ** · 2019/03/30(土) 20:13:16.16

>>281 レントゲン写真を見て腫瘍を見逃した場合の損失と
腫瘍ではないものを腫瘍と考えた場合の損失の比較のような
ことならいくらかは可能だろうけど。

**ニュースソース検討中＠自治議論スレ** · 2019/04/03(水) 09:21:12.40

>>229
母数はパラメータ
お前さんの言ってるのは分母
誤用も甚だしい

**ニュースソース検討中＠自治議論スレ** · 2019/04/05(金) 17:08:15.29

ベイス推定は正しいのだろうか？

**ニュースソース検討中＠自治議論スレ** · 2019/04/05(金) 17:27:47.02

経済評論家の予想が当たったことあるか？

**ニュースソース検討中＠自治議論スレ** · 2019/04/05(金) 19:48:59.36

>>284 間違い。　以下を参照。
ttp://cse.naro.affrc.go.jp/yamamura/topic31.html

**ニュースソース検討中＠自治議論スレ** · 2019/04/05(金) 22:19:28.27

>>286
書いてあることを要約すると「捏造しようと思えば捏造できる」という当たり前のことだぞ

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 00:14:47.48

逆だわな
死ぬほど労力をつぎ込みまくって
捏造じゃないと言えるレベルにもっていく不断の努力が必要
近年になってようやく有用と言えるようになってきたレベルでコストを要する

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 00:38:41.06

捏造だったら今後の予測で使い物にならないんだからすぐボロが出るだろ
万が一捏造なのにうまく予測に使えるならそれはそれで何の問題もない

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 02:08:16.88

検証コストがかかる場合とかいくらでも問題あるから
その考えは間違い

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 10:56:07.72

>>289
>捏造だったら今後の予測で使い物にならないんだからすぐボロが出るだろ

捏造じゃない実験でも間違った結果が出ることあるから、再現性がないからといって捏造と決めつけることはできない

だから、捏造で論文をアクセプトしてもらえると楽ができるわけだ

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 13:04:44.05

>>287 「捏造しようと思えば捏造できる」から
ベイズ推定には問題がある。常識的な
確率密度関数を仮定して最尤法なら捏造しようと思っても
捏造できない。自分が望む結果を与える確率密度関数を
使うことはできるけど、あてはまりが悪ければ信用されない。

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 13:07:07.87

>>289 その理屈を採用するなら、どんなでたらめな
統計解析をやってもいい、妥当でない結果は予想に
役立たないから消えていくだけ、と考えても
いいことになりそう。

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 13:15:51.47

でたらめな解析を行うのも自由、でたらめ解析ばかりしてる奴の出すレポートを信用しないことも自由

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 13:19:08.60

多面的に見ないからだろ

**ニュースソース検討中＠自治議論スレ** · 2019/04/06(土) 13:19:15.89

>>294 だから、どんなものが「でたらめな解析」かを
判定することが重要、とならないか？

**ニュースソース検討中＠自治議論スレ** · 2019/04/10(水) 11:12:07.47

統計って基本的な使われ方は嘘ついて人を騙すための学問でしょ

**ニュースソース検討中＠自治議論スレ** · 2019/04/10(水) 12:15:24.75

騙されるのは知識が足りていないから
十分知識があれば騙すための統計解析結果に対しては「嘘」又は「事実とは言い切れない」の何れかの結論に達するはず

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 00:12:41.48

https://i.imgur.com/9B3W0Wr.jpg
これは相関性は強いの？

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 08:35:40.47

>>299 高い、低い、というのは曖昧な表現だが、
この場合、普通は、相関が高い、と言うだろう。

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 08:56:12.47

データをねつ造しなくても
気に入った結果だけ発表するなら同じことなのでは・・
ランダムでないものに有意性とかナンセンスだろ

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 08:58:45.17

つまり排除の理由としては使えるけど、採用の理由として使っちゃダメ

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 12:24:12.43

統計学は権力者の「思い込み」を正当化する口実に使われがちである。

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 12:33:32.29

>>301
なるほど
じゃあOECD全部ブッ込んで相関性が高いなら問題なさそう
ちなみに一番右上は中国な

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 13:51:31.33

>>299
ただし因果関係は不明

多分縦が因で横が果
ミスリードしようという意図が感じられるな

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 14:36:09.76

>>299
凄い強い相関。(^0_0^)
GDPが伸びているから財政支出もできると考えれば
当たり前かもしれない。

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 15:07:21.06

だったらそれはそれで財政支出が増えてるのにGDPが伸びてない国がないとおかしいという話にならない？
他にもGDPの伸び分しか財政支出を増やさない国しか世の中存在しないのかとかね

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 17:07:41.97

>299
GDP伸び＝＞税収伸び＝＞財政支出伸びって関係じゃないの
横軸が支出／GDPなら意味があるかも

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 17:08:28.94

それは高校数学レベルの論理の問題
「AならばB」が成り立つからといって「BならばA」も成り立つとする根拠はどこにもない
AがGDP増加、Bが財政支出増加

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 17:17:20.69

Y（GDP）＝C（消費）+I（投資）+G（政府支出）+NX（純輸出）
この式はいつでも正しくなります（恒等式）。

だからそもそも政府の支出が増えたらGが増えるからその分GDPが伸びるんだとはならない？
他にも政府が支出するとそれはすなわち同等額が国内企業に支払われ国内企業が生産するからその分消費や投資が増えるとはならない？

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 17:20:00.83

なんだコレ（珍）姉妹都市

秦野市 1964年9月29日　パサデナ (カリフォルニア州)
秦野市 1964年9月29日　パサデナ (テキサス州)

【マＩＴＬーヤ】　悪人に悲報、テレビ出演、大演説も
http://krsw.5ch.net/test/read.cgi/hulu/1556774069/l50

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 18:21:46.64

>>310
事前と事後の区別が付いてない初学者だなあ。

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 18:23:22.60

>>312
事前、事後でいうならまず支出が先では？

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 18:56:12.10

>>310
Gが増えてもその他の要因が減れば見かけ上Yに変化がなかったりむしろ減少したりすることはあり得るだろ
GとCやIの間に恒等的に成り立つ式なんてないだろうから上記の可能性を捨てる客観的根拠などない

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 19:09:09.22

>>314
なるほど

財政支出が増えてもGDPが増えなかった
GDPが増えても財政支出が増えなかった例とかないの？

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 19:22:41.90

政府が支出したら当然民間企業は仕事をこなさないといけないわけだから仕事に必要な出費もすれば投資もするし賃金も払うんでは？
そう考えると政府が支出した分いくらか貯金にはなるがほとんどは支払われるんではないの？

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 19:36:23.24

>>1
たまに死ぬやつがいるって、
そこで打ち切っているのが統計

なぜそいつが死んだのか他の死ななかったやつと比べて
何が違うのかを徹底的に調べるのが本当の学者だ

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 20:57:21.60

>>313
初心者やな。

意図した時点と、活動が終わった後で見るかで、同じ等式でも解釈は全く違う。

**ニュースソース検討中＠自治議論スレ** · 2019/05/05(日) 20:58:22.40

キーワードは意図せざる在庫やね。