X



トップページ数学
1002コメント451KB
ベイズの統計学を学び始めたんだけど
■ このスレッドは過去ログ倉庫に格納されています
0001132人目の素数さん
垢版 |
2017/12/03(日) 00:52:27.23ID:v3VGsge3
信用に値するのか疑問です。
人工知能とかではなく日々の動機付けに利用する予定です
0174132人目の素数さん
垢版 |
2017/12/17(日) 09:37:07.57ID:X2tL9rcK
>>172
弱情報分布ってそんなもんだよ。

女性の平均身長は1m以上2m未満の一様分布を事前分布とできる。
0176132人目の素数さん
垢版 |
2017/12/17(日) 10:14:14.33ID:jycrYxmo
>>173
この緩股女子高生20人にメールを送って誘ったところ2人が開脚したとする。
このデータを使って前問の確率分布を事前分布として緩股女子高の開脚率の期待値、最頻値、95%信頼区間を算出せよ。

こういうのがベイズ推論ね。
0177132人目の素数さん
垢版 |
2017/12/17(日) 11:12:20.75ID:eg22I2Ho
>>164 >>171

事象A : 女性である
事象B : 喫煙者である

ここで、ベイズの定理で
P(A|B) = {P(B|A) / P(B)} * P(A) という数式
に、

P(B) = 0.182
P(B|A) = 0.090 を代入すると、

P(A|B) = 90 / 182 * P(A)
    = 0.4945 * P(A)   ──★

ここで★に、P(A) = 100/192 = 0.5208 を代入
P(A|B) = 0.2576 となる。
尤もな値が得られる、ウームまてよ

もし、P(A)が1に近い値なら、それを
★に代入すると、
P(A|B)は、0.4945になり、1にはならない。

そう、この手の確率計算、何か変なのです。
0178132人目の素数さん
垢版 |
2017/12/17(日) 11:54:58.90ID:X2tL9rcK
P(A)を固定で考えずに変数と考えるのがベイズ統計。

P(A)が一様分布に従うとしても大して値は変わらない。

mean se_mean sd 2.5% 25% 50% 75% 97.5% n_eff Rhat
female 0.4979 0.0011 0.2885 0.0247 0.2477 0.4977 0.7473 0.9756 70793 1
female_smoker 0.2462 0.0005 0.1427 0.0122 0.1225 0.2461 0.3695 0.4824 70793 1

平均0.246 信頼区間は[2.5%-97.5%]と広くなる。
0179132人目の素数さん
垢版 |
2017/12/17(日) 11:59:13.05ID:X2tL9rcK
>>176
posterior ∝ likelihood * prior を使ってグラフ化すると

http://i.imgur.com/xGnsEHU.png

緩股女子高の開脚率の

最頻値
> optimise(posterior,c(0,1),maximum=TRUE)$maximum # mode
[1] 0.1304338

期待値
> integrate(function(x) x*posterior(x),0,1)$value # mean
[1] 0.16

メディアン値
> cdf <- function(x) integrate(posterior, 0,x)$value
> uniroot(function(x)cdf(x)-0.5,c(0.01,0.99))$root # median
[1] 0.1508781


95%信頼区間
> pdf2hdi(posterior)
lower upper
0.034818 0.301498
0180132人目の素数さん
垢版 |
2017/12/17(日) 12:20:18.88ID:X2tL9rcK
>173の事前分布の情報がないと

>176だけの情報だと

期待値
> integrate(function(x) x*pdf(x),0,1)$value
[1] 0.1363636

最頻値
> optimize(pdf,c(0,1),maximum = TRUE)$maximum
[1] 0.1000202

信頼区間
> pdf2hdi(pdf)
lower upper
0.017594 0.276573

となる。

relocation of credibilityがベイズ推計の根幹
0181132人目の素数さん
垢版 |
2017/12/17(日) 12:43:48.22ID:X2tL9rcK
>>172
店によって客の年齢層が違うから年齢層別の喫煙率がないとだめとか、

同年齢でも職業や学歴によって喫煙率が違うからだめ

とかいくらでもいえる。

与えられたデータで計算しろというのが問題の趣旨。
0183132人目の素数さん
垢版 |
2017/12/18(月) 06:05:12.22ID:TKDTxK+v
>>178

種明かしすると

一様分布での期待値は男女比=1:1としたときと同じ。

信頼区間は2.5%-97.5%と幅95%ならどこでもいい。
0184132人目の素数さん
垢版 |
2017/12/19(火) 21:21:09.51ID:TqEjsDs9
学び始めたんだけどってあるけど

いい加減過ぎ
0185132人目の素数さん
垢版 |
2017/12/23(土) 21:08:29.50ID:Gv2AOAvC
>>149
そんなの前提じゃないww
それを前提にしてるのは頻度説だけだww
ばかかw
0186132人目の素数さん
垢版 |
2017/12/23(土) 21:11:04.92ID:JamHfM57
その通り
0187132人目の素数さん
垢版 |
2017/12/23(土) 21:38:22.49ID:Gv2AOAvC
確立において共通的仮定は
μ(φ)=0
∀X∈2^A、μ(X)≧0
∀X,Y∈2^A、X∩Y=φ⇒μ(X∪ Y)=μ(X)+μ(Y)
の測度論的定義と
P(Ω)=1
0≦P≦1
上の3つめと同じ
の確立の公理主義的定義しかないわ
0188132人目の素数さん
垢版 |
2017/12/23(土) 21:45:21.81ID:R5cvga9/
とはいえ、その公理的確率論の主眼が極限法則の研究である以上、頻度主義を単なる一解釈、one of them と見なすこともまた不適切
0189132人目の素数さん
垢版 |
2017/12/23(土) 22:14:29.53ID:JamHfM57
ベイズ統計学では、事象の確率という考え方を採用し、
必ずしも頻度には基づかない確率を「確率」として見なす

またベイズの定理を用い、
事前確率及び尤度を仮定した下で事後確率を与える、
という相対的なメカニズムを主張している
したがって事後確率の計算結果の信憑性や有用性は、
事前分布と尤度の設定にかかっており、慎重を期すことが必要である

これはベイズ統計学が、不確実性を含む問題を人によって異なる
確率を用いて定式化することを許容する主観確率 (subjective probability)
という立場をとっていることによる
この立場はまだ解析対象となっていない新たな問題への
アプローチを可能にするという利点がある一方で、
確率の決め方について客観性に欠けるという批判もある(客観確率)
0190132人目の素数さん
垢版 |
2017/12/23(土) 22:58:03.28ID:Gv2AOAvC
>>188
であるならば頻度論的考えが前提というなら
それが公理に組み込まれなければ前提ではないんだが
そんな公理どこにあるの?
示してみ
>>149は前提といってるんだから
公理レベルで明文化されてないとおかしい
0191132人目の素数さん
垢版 |
2017/12/23(土) 23:43:11.04ID:R5cvga9/
そう攻撃的になるなよ
俺は補足説明しただけであって、君の主張を否定したいわけではないんだから
0192132人目の素数さん
垢版 |
2017/12/23(土) 23:57:05.90ID:R5cvga9/
よく読んでみると、前提を公理と同義だと勝手に決めつけたのは>>185だね
公理化する前の段階、何を公理化して何を研究対象とするかという目的
>>149はこれを前提と言っているわけだから、君の怒りは最初から的外れだ
0193132人目の素数さん
垢版 |
2017/12/24(日) 00:47:21.62ID:0cx6DHwL
ある大学の入学者男女の比率は1であるという帰無仮説を検定する課題が花子と太郎に課された。

花子は50人を調査できたら終了として入学者を50人をみつけて18人が女子であるという結果を得た。
帰無仮説のもとで
50人中18人が女子である確率は 0.01603475
これ以下になるのは50人中0〜18人と32〜50人が裏口の場合なので
両側検定して
> sum(dbinom(c(0:18,32:50),50,0.5))
[1] 0.06490865
> binom.test(18,50,0.5)$p.value
[1] 0.06490865
で帰無仮説は棄却できないと結論した。

一方、本 番と十八番が好きな太郎は一人ずつ調べて18人めの女子がみつかったところで調査を終えることにした。
18人めがみつかったのは花子と同じく50人めであった。
帰無仮説のもとで
18人がみつかるのが50人めである確率は0.005772512
これ以下になるのは23人以下50人以上番めで女子18人めがみつかった場合なので
両側検定して
pnb=dnbinom(0:999,18,0.5)
> 1 - sum(pnb[-which(pnb<=dnbinom(50-18,18,0.5))]) # < 0.05
[1] 0.02750309
で帰無仮説は棄却される。

どちらの検定が正しいか、どちらも正しくないか?
検定する意図によってp値が変わるのは頻度主義統計の欠陥といえるか?
0194132人目の素数さん
垢版 |
2017/12/24(日) 00:47:53.93ID:0cx6DHwL
サンプルでの裏口入学率を横軸にして95%信頼区間を示す。
花子の検定での信頼区間は0.36〜0.72で18/50を含む、p=0.06491
http://i.imgur.com/SeTLk8K.jpg
太郎の検定での信頼区間は0.375〜0.72で18/50を含まない、p= 0.0275
http://i.imgur.com/tNzlfxe.jpg
主観である、検定の中止の基準の差でp値や信頼区間が変化するのは変だという批判である。
0195132人目の素数さん
垢版 |
2017/12/24(日) 00:52:00.99ID:0cx6DHwL
コインが続けて何回裏が出たらイカサマとみなす?
0.5^5 = 0.03125 < 0.05
なので5回?
0196132人目の素数さん
垢版 |
2017/12/24(日) 01:00:24.15ID:CT/NKMd7
ベイズ統計でいう確率は信憑性の指標。

天気予報の降水確率もこれに近い気がするな。
0197132人目の素数さん
垢版 |
2017/12/24(日) 01:35:25.50ID:CT/NKMd7
シミュレーションしてみると、

コインを100回投げると続けて5回以上、裏がでる確率は80%以上なので5回裏が続けてでてもイカサマでもないような気がする。

7回以上続けて裏でも3割を越える。

連続10回だと0.05未満になった。
0198132人目の素数さん
垢版 |
2017/12/24(日) 02:39:47.06ID:lv/b26ht
>162は事前確率分布を抜きの頻度主義統計では対応できないと思う。
0200132人目の素数さん
垢版 |
2017/12/24(日) 12:23:14.68ID:CT/NKMd7
>>195
イカサマコインの定義を 裏がでる確率が1/3以下または2/3以上のときとすると。

(2/3)^5 =  0.1316872 > 0.05なので イカサマコインであるとは言えない。

としか、頻度主義統計では結論できないのではなかろうか?
0201132人目の素数さん
垢版 |
2017/12/24(日) 18:14:26.11ID:w9KqWG5P
>>195
ベイズの確率なら、
イカサマコインの確率が算出できるのぢゃ

事前確率
  表がでる確率が1/2のコイン 0.5
  表がでる確率が2/3のコイン 0.5
と適当かつ勝手にワシの主観でおく。

(1/2)^5 = 1/32 = 0.03125 で
(2/3)^5 = 32/243 = 0.1317 ぢゃから

事後確率
  0.1317 / (0.1317+0.03125) = 0.8082

つまり、5連続表がでたら、
イカサマコインの確率は、
0.5→0.8082に改訂ぢゃ
0203132人目の素数さん
垢版 |
2017/12/25(月) 06:37:38.74ID:XjVyvstm
>>202
事後分布で1/3以下,2/3以上である確率は

> pbeta(1/3,1+5,1) + pbeta(2/3,1+5,1,lower=FALSE)

[1] 0.9135802

でイカサマコインといえる。
0204132人目の素数さん
垢版 |
2017/12/25(月) 07:28:57.92ID:XjVyvstm
0.5lをモード値として1/3〜2/3の間に95%が存在する5%のイカサマは許容するをβ分布Beta( 16.55299, 16.55299)を事前分布とすると

5回続けて表がでたときの事後分布は

http://i.imgur.com/v03Jv5Q.png

イカサマ確率は0.1031となる。
0206132人目の素数さん
垢版 |
2017/12/25(月) 08:14:46.83ID:XjVyvstm
>>201

# 事前確率
# 表がでる確率が1/3のコイン 1/3
# 表がでる確率が1/2のコイン 1/3
# 表がでる確率が2/3のコイン 1/3
# と適当かつ勝手に変更

require(rjags)
N=5
z=5
y=c(rep(1,z),rep(0,N-z))
ph=c(1/3,1/2,2/3)
pc=c(1/3,1/3,1/3)
dataList5=list(N=N,y=y,ph=ph,pc=pc)
# JAGS model
modelString5 ="
model {
for(i in 1:N){
y[i] ~ dbern(ph[coin])
}
coin ~ dcat(pc[])
}
"
writeLines(modelString5,'TEMPmodel.txt')
jagsModel5=jags.model('TEMPmodel.txt',data=dataList5)
codaSamples5=coda.samples(jagsModel5,var=c('coin'),n.iter=100000,na.rm=TRUE)
summary(codaSamples5)
js5=as.matrix(codaSamples5)
mean(js5!=2)

5回続けて表がでたとき、
イカサマコインであった確率は
> mean(js5!=2)
[1] 0.81361
0207132人目の素数さん
垢版 |
2017/12/25(月) 11:38:23.64ID:+0PPmMfC
頻度主義統計の謎。

立方体からなるサイコロの目のでる確率はすべて等しく1/6である、を帰無仮説とする。

そのサイコロをふって1の目がでた。2回目は2の目がでた。
その確率は1/6*1/6で1/36=0.02778 < 0.05だから帰無仮説は棄却される。
どの目の組合せでも同じく帰無仮説は棄却される。

頻度主義統計のもとではすべてのサイコロはいびつである。
0208132人目の素数さん
垢版 |
2017/12/25(月) 12:39:07.20ID:+e1uiFf8
>>207
検定についてもう一度勉強した方がいい
0210132人目の素数さん
垢版 |
2017/12/25(月) 12:51:59.61ID:48ocxvwa
全然デタラメ
0212132人目の素数さん
垢版 |
2017/12/25(月) 13:16:30.22ID:+0PPmMfC
帰無仮説を点推定とすると>195の理論が成立する。
現実は>204だと思っている。

数値をだしての反論希望。
0213132人目の素数さん
垢版 |
2017/12/25(月) 13:25:55.54ID:48ocxvwa
>>212
だからその数値が無意味ですってw
0214132人目の素数さん
垢版 |
2017/12/25(月) 13:26:28.67ID:+0PPmMfC
頻度主義統計の謎
1000本に1本当りがでる宝くじに当たった人がいる
p=0.001<0.05だから偶然とは言えないから不正があった筈。
0216132人目の素数さん
垢版 |
2017/12/25(月) 13:30:06.79ID:48ocxvwa
>>215
君あおりもヘタね
0218132人目の素数さん
垢版 |
2017/12/25(月) 13:35:33.47ID:+0PPmMfC
帰無仮説を分布に設定すればいいのに
頻度主義者にはそれができない、という批判なんだよ。
0219132人目の素数さん
垢版 |
2017/12/25(月) 13:37:16.46ID:+0PPmMfC
ゴルゴ13は100発100中
ゴルゴ14は10発10中
ゴルゴ15は1発1中
とする。
各々10000発撃ったとき各ゴルゴの命中数の期待値はいくらか?

ベイズでは事前確率分布を一様分布として計算できるが、
頻度主義統計では全く無力と気づいてベイズ統計を学び出したよ。
0222132人目の素数さん
垢版 |
2017/12/25(月) 17:17:16.68ID:Yuo09ydY
■モンティホール問題(空箱とダイヤ)

このゲームができるのは1回だけです

ダイヤモンド1個を外からは中が見えない空箱100個の
中のどれかひとつに入れます

その中から1個の箱を選びます

98個の空箱を取り除きます

最後に残った2個の箱の中から1個の箱を選びます

ダイヤモンドが当たる確率は何%でしょうか?
0223132人目の素数さん
垢版 |
2017/12/25(月) 17:51:07.79ID:CUAFfOhi
>>220
数値以前の問題だけどな
0225132人目の素数さん
垢版 |
2017/12/25(月) 19:24:36.60ID:ZnFzwkFb
>>224
自分が間違ってるとは考えないの?
0226132人目の素数さん
垢版 |
2017/12/25(月) 19:30:16.93ID:P3YrdrZj
>>223,225
相手して欲しいだけの困ったちゃんだから触らないことよ
0228132人目の素数さん
垢版 |
2017/12/25(月) 20:18:40.97ID:ZnFzwkFb
>>227
あなたが間違った知識を持っていてもどうでもいいことだけど
私は優しいから貴方の知識が間違っていると言うことを教えておく
無知を知ることが出来て良かったね
0229132人目の素数さん
垢版 |
2017/12/25(月) 20:23:16.15ID:Yuo09ydY
>>222
前提として
・100個中1個ダイヤ入りの箱がある(自分で入れる訳ではない=第三者が入れる)
・自分が最初に選ぶ箱は便宜上「A」と名付ける
・98個の空箱を取り除く作業は答えを知っている第三者が「A」以外の99個から選んで行い、
最後に残された箱は便宜上「B」と名付ける

とすれば
「A」の中にダイヤがある確率は1/100、「B」の中にダイヤがある確率は99/100
2択とはいえ、五分五分の2択ではないことに気づけるかどうか
0230132人目の素数さん
垢版 |
2017/12/25(月) 20:50:34.25ID:54zGNhdP
>>229
ゲームが1回だけの時、

最初にプレイヤーがあたりを引く確率は1/100

はずれを引く確率も1/100になります

ゲームから98個の箱が除外された後に

残った2個の箱の内、選択変更後のあたりの確率が99%だと

証明する方法はゲームが1回に限定されている以上

存在しないのです
0231132人目の素数さん
垢版 |
2017/12/25(月) 20:57:46.62ID:54zGNhdP
「A」の中にダイヤがある確率は1/100、「B」の中にダイヤがある確率も1/100です
五分五分の2択ですのでダイヤを当てる確率は50%です
0233132人目の素数さん
垢版 |
2017/12/25(月) 23:51:56.81ID:ZnFzwkFb
>>232
間違いを指摘してやる義理はないからね
0234132人目の素数さん
垢版 |
2017/12/25(月) 23:55:09.97ID:LkqxjkNl
無力だと言われて反発してるだけ
まともな反論など期待できようはずがない
0235132人目の素数さん
垢版 |
2017/12/26(火) 00:39:07.10ID:5+kOkN0j
>>233
ホントそれ
かまってちゃんにかまってやることはない
0236132人目の素数さん
垢版 |
2017/12/26(火) 00:40:19.96ID:xrB10Qkz
>>229
■ゲームを1回に限定すると

1.最初プレーヤーがあたりを引く確率は1/2である

2.箱を変更しない場合はそのまま1/2の確率である
  (変更しないのであれば空箱が取り除かれようが残ろうが確率は変わらない)

3.98個の空箱を取り除いた後に箱を変更する場合、
  最初に選択した箱がハズレであれば変更後の箱はあたりが確定である
  つまり、最初に選択した箱がはずれである確率=箱を変更した場合に
  あたりを引く確率である

4.最初の選択であたりを引く確率は1/2、はずれを引く確率も1/2である

5.ゆえに、どちらの箱を選択してもあたりを引く確率は1/2である
0237132人目の素数さん
垢版 |
2017/12/26(火) 01:00:16.29ID:xrB10Qkz
ゲームは1回に限定されているので
事前確率と事後確率は一致します
0238132人目の素数さん
垢版 |
2017/12/26(火) 05:24:17.34ID:dE8Q4xnQ
>>233
間違ってないから指摘できないだけだろ。
カッコ悪い〜。

コインが5回続けて表がでたら0.5^5 <0.05なのでイカサマコイン
とするなら
1/6^<0.05ならいびつなサイコロ。
点推定を帰無仮設にせず>204のように分布を事前確率にする方がいい。
0239132人目の素数さん
垢版 |
2017/12/26(火) 06:39:56.34ID:NxNUMS6b
あまりにも当たり前すぎることを見落としている。
単に試行回数が少ないだけ。

二項分布を正規分布で近似するための条件は経験則として
・npとnqの小さい方が10(場合によっては5)より大きい。
・0.1≦p≦0.9 で、かつ 5<npq
・25<npq
等が知られている。コイン(p=1/2)なら20〜100回、サイコロ(p=1/6)なら30〜180回 
といずれでも数十回試行することが必要。
逆に言うと、これらから大きく離れた回数で、何らかの結論を出すような理論は危険。信憑性が足りない。

参考 http://www.naro.affrc.go.jp/org/nfri/yakudachi/sampling/pdf/logical-sample-number.pdf
0240132人目の素数さん
垢版 |
2017/12/26(火) 07:13:31.29ID:eJd16J/8
>何らかの結論を出すような理論は危険

t分布すら知らんのか!
0241132人目の素数さん
垢版 |
2017/12/26(火) 08:16:20.70ID:5+kOkN0j
>>239
二項分布も知らないレス古事記は放置が一番よ
0242132人目の素数さん
垢版 |
2017/12/26(火) 09:13:34.13ID:NxNUMS6b
>>240
整理しよう。
あるサイコロ、あるいは、コインがあり、その1の目が出る確率、あるいは、表が出る確率が
1/6、1/2としてよいかを検定しようとしている。
その検定に必要な試行回数は239で示したような回数が必要であり、>>207で行ったような
たった2回の試行では足りない、というのが239の内容だ。

そこに、t分布がどのように現れるのか?
t分布は、体重、身長、点数、...等という、正規分布の確率変数に出来るデータを直接
いくつか得て、それを元に、想定していた分布と差があるかどうかを検証する。
その「いくつか」の個数がデータの数だとか、自由度の直結するものだ。

しかし、239で与えた試行回数というものは、全く異なる。
正規分布の確率変数に直結する一つのデータを得るために必要な試行回数だ。
239の回数だけ、試行を行い、はじめて、t分布で言うところの、「1つのデータ」を得ることが出来る。

あなたは、次元の異なる内容を比較して反論したつもりでいるだけ。
0243132人目の素数さん
垢版 |
2017/12/26(火) 12:12:04.68ID:K9ImdNUu
>>239

試行数が少なくても計算できるのがベイズ統計。

サイコロのある目のでる確率が1/8以下か1/4以上であるときを歪(いびつ)なサイコロと定義する。
事前分布としてどの目のでる確率も1/6で、ディリクレ分布(集中度母数=1)に従うとして
1の目が2回続いたときの1の目のでる事後確率分布をJAGSで計算してグラフ化すると次のようになる。
95%信頼区間に歪でない場合の確率1/8〜1/4が含まれるので歪とは判断されない。
http://i.imgur.com/WJJwIWK.png

1の目が5回続いたときの事後確率分布は
https://i.imgur.com/G9lpd0u.png
これは95%信頼区間の下限が1/4を超えているから歪であると判断される。
0246132人目の素数さん
垢版 |
2017/12/26(火) 13:02:42.03ID:bh2BICch
>>245
信仰心を持てば解けるのです!!
0249132人目の素数さん
垢版 |
2017/12/26(火) 15:55:16.98ID:K9ImdNUu
>そのサイコロをふって1の目がでた。2回目は2の目がでた。

これを題材にしてベイズ推計する。

事前分布としてどの目のでる確率も1/6で、ディリクレ分布(集中度母数=1)に従うとして
事後確率のおのおのの目の分布を図示すると。
http://i.imgur.com/yTUhYkq.png
という風になる。
95%HDI(Highest Intensity Interval)がどの目でも
1/8〜1/4を含むから、
どの目に関しても歪とは結論されない。

別の試行で計算してみる。
18回サイコロを投げて1の目が10回、2の目が8回でたときの
事後分布は
http://i.imgur.com/2RlV9g3.png
2の目以外は非歪コイン域(Range of Practical Equivalence: ROPE)と
95%HDIが重ならないので、2以外の目は歪と結論できる。

標本数が少ないとHDIが広くなるだけ。
正規分布近似など全く必要なし。
0250132人目の素数さん
垢版 |
2017/12/26(火) 16:14:54.26ID:K9ImdNUu
以上の議論で、

少数例でも結論はだせる。

とうぜん信用区間は広くなる、信憑性が低くなっていることは区間幅で数値化されているのだから問題なし。

どこにもp値との比較はでてこない。強いて言うなら95%HDIの5%が危険率に匹敵するくらい。
0251132人目の素数さん
垢版 |
2017/12/26(火) 20:08:52.62ID:NxNUMS6b
ほぼ一直線の分布曲線が、ベイズ更新により、なだらかなピークを持つ曲線に変化したのを見て、
「ほら、この辺に平均値があるはず」等と、喜んでいるだけ。
頻度主義はいわば、鋭いピークを持つ分布曲線になるまで、じっと結論を待つことにアナロジーできる。


>>少数例でも結論はだせる。
>>とうぜん信用区間は広くなる、信憑性が低くなっていることは区間幅で数値化されているのだから問題なし。

「サンプル数が少ないと、信憑性が低くなる」
ということを
「サンプル数が少ないと、信憑性が低くなるが、それを数値化しているから問題ない」
と強弁しているだけだね。
つまり、「少数例でも結論はだせる」ではなく、「だせたつもりでいる」だけ。

一定の信用度を持つまで結論を先送りするか、信用度を犠牲にして結論をだすかの違い。
0252132人目の素数さん
垢版 |
2017/12/26(火) 21:38:58.06ID:dE8Q4xnQ
>>251
事前分布をもとに結論が出せてるじゃん。
コインの例なら一様分布を選ぶか一か八かのbeta(0.5,0.5)にするから弱情報分布のbeta(2,2)を選ぶかが、主観的と呼ばれるだけ。
ベイズの確率はcredibility信憑性なのだから、何の問題もない。

正規分布近似の必要は全くないので近似できる標本数が必要という議論は誤りだね。
0253132人目の素数さん
垢版 |
2017/12/26(火) 21:42:17.50ID:dE8Q4xnQ
>>251
事前分布をもとに結論が出せてるじゃん。

コインの例なら一様分布を選ぶか、一か八かのbeta(0.5,0.5)にするか、弱情報分布のbeta(2,2)を選ぶかが、主観的と呼ばれるだけ。
ベイズの確率はcredibility信憑性なのだから、何の問題もない。

正規分布近似の必要は全くないので近似できる標本数が必要という議論は誤りだね。
0254132人目の素数さん
垢版 |
2017/12/26(火) 21:51:31.77ID:dE8Q4xnQ
>>251
じゃあ、>219の各ゴルゴの期待値とその信頼区間を
頻度主義統計で答えてみ!
100発100中ならサンプル数として十分だろ。
ゴルゴ13とゴルゴ14の命中率はどちら上か検定してみ!
サンプル数不足なら1000発1000中のゴルゴ12とのゴルゴ13との比較でもいいぞ。
頻度主義統計でp値出してみ。
0256132人目の素数さん
垢版 |
2017/12/26(火) 22:55:59.71ID:xrB10Qkz
ゴルゴ13
ゴルゴ14
ゴルゴ15は

全員同じ能力で各々10000発撃ったときの命中率は10000発10000中のみ
0257132人目の素数さん
垢版 |
2017/12/27(水) 00:14:11.16ID:mWIG5IHC
命中率がp未満とする。
n発撃って、全発命中する確率はp^n未満となるが、これがたまたま発生したと考えると、
p^n<0.05 や p^n < 0.01 という式が立てられる。
これが、ゴルゴにより達成されたと考え、この結果の否定が採用される。

例えば、n=1000 で 危険率0.05を採用すると、 p<0.997009 からp≧0.997009
例えば、n=1000 で 危険率0.01を採用すると、 p<0.995405 からp≧0.995405
例えば、n=100 で 危険率0.05を採用すると、 p<0.970487 からp≧0.970487
例えば、n=100 で 危険率0.01を採用すると、 p<0.954993 からp≧0.954993
例えば、n=10 で 危険率0.05を採用すると、 p<0.741134 からp≧0.741134
例えば、n=10 で 危険率0.01を採用すると、 p<0.630957 からp≧0.630957
例えば、n=1 で 危険率0.05を採用すると、 p<0.05 からp≧0.05
例えば、n=1 で 危険率0.01を採用すると、 p<0.01 からp≧0.01
あくまで、命中率の下限を評価しただけなので、実際の命中率は、1とそれぞれの間のどこかにある。

危険率5%で、
1000発1000中 → 10000中 9970発〜10000発 平均 9985
100 発100 中 → 10000中 9705発〜10000発 平均 9852
10 発10 中 → 10000中 7411発〜10000発 平均 8705
1  発1  中 → 10000中  500発〜10000発 平均 5250
0258132人目の素数さん
垢版 |
2017/12/27(水) 06:31:31.84ID:D9mPzlGu
>>257
対称でない確率分布から期待値だすのに片側検定での境界値と
上限値を足して2で割るかよ?

期待値は原点周りの一次モーメントだぞ。
ベイズでの期待値を教えてあげよう。
命中率の事前分布を一様分布にするとn発n中のゴルゴの命中期待値は(n+1)/(n+2)になる。
0260132人目の素数さん
垢版 |
2017/12/27(水) 07:18:48.33ID:ipSdYKfI
>>258
>命中率の事前分布を一様分布にすると
正規分布なら?
0261132人目の素数さん
垢版 |
2017/12/27(水) 07:43:22.18ID:D9mPzlGu
>>257
もとのデータが変わらないのに危険率を変えるとオマエのいう平均値が変わるのは変だと思わんのかよ?

まさに主観的wwww

オマエの「平均値」計算式でn=100のときの「平均値」がどう変動するかグラフにしてやったぞ。

http://i.imgur.com/6OIUvas.png
0262132人目の素数さん
垢版 |
2017/12/27(水) 07:46:39.94ID:D9mPzlGu
>>260
正規分布は−∞から+∞までとるから、正規分布の仮定は最初から間違いだよ。

定義域が0〜1のβ分布を使うほうがよい。

一様分布もβ分布の特殊型なのはベイズ統計の常識。
0263132人目の素数さん
垢版 |
2017/12/27(水) 07:51:42.33ID:D9mPzlGu
>>260
正規分布を事前分布にするとして

平均と分散はどう主観的に設定すんのよ?

スナイパーなのだから、命中率の平気値は5割以上だろとか、いやプロなんだらゴルゴ13は9割以上でゴルゴ15はまぐれだから5割未満じゃないの?

おのおのの分散はどう設定する?

こういう議論をしなくていいのが、一様分布ではある。

まあ、生まれる男の生まれる確率が一様分布というのは事前分布としては俺も不適切だと思う。
0265132人目の素数さん
垢版 |
2017/12/27(水) 08:23:03.86ID:mQ1e/AFE
有意水準(危険率)を変えれば推定区間幅が変わるのは頻度主義でもベイズでも同様。
だが、危険率を変えたら推定平均値(期待値)も変わるという
>527の議論は頻度主義でも落第。
0266132人目の素数さん
垢版 |
2017/12/27(水) 15:03:00.79ID:D9mPzlGu
>>265
>257のアンカーミス。
データの変化はないのに。
平均値(期待値)の算出が検者の主観(危険率)で決まるはずはないね。
0267132人目の素数さん
垢版 |
2017/12/27(水) 16:16:26.53ID:D9mPzlGu
>>257
対称でない確率分布から期待値だすのに片側検定での境界値と
上限値を足して2で割るかよ?

反論を待っているぞ。
0268132人目の素数さん
垢版 |
2017/12/27(水) 16:19:59.78ID:D9mPzlGu
>>260
>正規分布なら?
の要望に応じてstanでやってみた。

n=100のケース

一様分布の平均と同じく事前正規分布の平均は0.5とする。
標準偏差はGelman *1)に準じてHalf-Cauchyでやってみる。

*1)https://projecteuclid.org/download/pdf_1/euclid.ba/1340371048
(逆ガンマ分布は母数の影響を受けすぎなので弱情報分布に向かないという趣旨の論文)


平均0.5 標準偏差は半コーシー分布
mean se_mean sd 2.5% 25% 50% 75% 97.5% n_eff Rhat
p 0.9899 0.0002 0.0100 0.9628 0.9860 0.9929 0.9972 0.9997 2394 1.0005
sigma 3.3759 0.3620 12.2452 0.2954 0.7799 1.5483 3.3236 14.7428 1144 1.0016


平均0.5 標準偏差は[0,10]の一様分布(確率変数の標準偏差として明らかに過剰)
mean se_mean sd 2.5% 25% 50% 75% 97.5% n_eff Rhat
p 0.9901 0.0001 0.0096 0.9642 0.9861 0.9930 0.9971 0.9997 6746 1.0005
sigma 3.0639 0.0467 2.6177 0.3145 0.9298 2.1411 4.6519 9.2510 3146 1.0009

WinBUGSで推奨の逆ガンマ分布を標準偏差の事前分布にしてみると
mean se_mean sd 2.5% 25% 50% 75% 97.5% n_eff Rhat
p 0.9901 0.0002 0.0098 0.9640 0.9864 0.9931 0.9971 0.9998 1780 1.0008
sigma 3.7042 0.8736 28.9458 0.2199 0.4260 0.7150 1.5033 17.5846 1098 1.0013


最初から一様分布にしたときと大差なし。
mean se_mean sd 2.5% 25% 50% 75% 97.5% n_eff Rhat
p 0.9902 0.0001 0.0097 0.9648 0.9863 0.9933 0.9972 0.9997 7377 1.0002
0269132人目の素数さん
垢版 |
2017/12/27(水) 17:18:30.60ID:D9mPzlGu
ベイズ統計でゴルゴ13(百発百中)とゴルゴ14(十発十中)の命中率の差の分布も計算できる。


http://i.imgur.com/fGDobGW.png

平均、最頻値、中央値は以下の通り
mean         median       mode
0.07288324    0.05019718    0.01531325

95%信用区間の中心が平均値になるのではないのは明らか。
0270132人目の素数さん
垢版 |
2017/12/27(水) 20:44:43.55ID:ywHK8j63
大数の法則は裏を返せば
「サンプルサイズが小さい方が、より極端な値をとる確率が高い」
ということでもある
この性質によって差が出ただけのものに対しても、
人はそれが偶然によるものではなく、何か意味があると錯覚してしまいやすい
0272132人目の素数さん
垢版 |
2017/12/27(水) 21:59:36.93ID:mWIG5IHC
議論をする相手には、いくつか条件が必要です。そうでなければ、まともな議論になりません。
詳しく述べることは控えますが、私はあなたとは議論しません。
これを最後に去りますが、一点補足します。

>>257の方法において、危険度を少しゆるめの値、0.1353(=1/e^2)を採用すると、
ベイズの結論に漸近的に一致する結果を得ます。(n→∞で一致します。)
あなたが棄て、いちゃもんをつけている方法から、あなたが信仰するのと同じ結論が出てきます。
ではさよなら。
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況