ベイズの統計学を学び始めたんだけど
■ このスレッドは過去ログ倉庫に格納されています
信用に値するのか疑問です。
人工知能とかではなく日々の動機付けに利用する予定です ,,__,,
/ `、
/ ヽ
/ ● ● |
/l ''''' し '''''' |
/ l __. |
l /ヽ_ ` --' _ノ
\  ̄ ヽ∩
⌒l l三 |
| ヽ.__| エーザイのアルツハイマー新薬のベイジアン解析の資料読んで
俺に分かりやすく説明してください >>696
ネットワークベイジアンメタアナリシス? 高校で一般人も習う条件付き確率になぜ変な名前をつけて喜んでんの? >>698
なんでも確率変数にできるから。
p値の信頼区間(ベイズでは信用区間と呼ぶ)もだせるよ。 嘘には三つの種類がある
ただの嘘と
真っ赤な嘘と
統計だ
ってアカポス取れない数学科が統計に流れて薬学だの保険屋になって詐欺をするんだな 統計は嘘をつくための道具だよ
いかに上手く丸め込むか
尤もらしいことを言えた者が勝ち
最尤推定なんて
「もっとももっともらしい」
ってまさにそれだし >>698
MCMCと組み合わせるといい感じだから >>701
小児甲状腺がんが増えていないとかに援用されてるね。 1964年、茨城県南の国道バイパスで突如自家用車が
消失するという事件が起こった
毎日新聞でも取り上げられたこの不可解な失踪事件は
今もなお未解決である 検定はだめだめ言われるけど
なんで未だにどの教科書にも基礎事項としてでてくるんだ? >>710
メンデルの法則の実験データは法則に合致し過ぎて捏造の疑いを指摘したのがフィシャーだったかな。 統計による「検定」
サイコロを2回振ったら順に1,2であった。
その確率は(1/6)*(1/6)=1/36=0.027 < 0.05だから
このサイコロはイビツである。
100人に一人が当たるくじを1本太郎君が引いたら当たった。
この確率は0.01 < 0.05だからこのくじはイカサマである。 >>712
正にこれ
なんで5%しか起こらないことが起こったからといって
仮定を否定する根拠になるわけがない
しかも
改めた結論を元に別のことをまたまた検定してとか
検定に検定を重ねまくることが良くある
1枚でも眉唾な曇りガラスを
何枚も重ねて得られる結論って意味ないだろ >>712
まさにコレか?
検定に問題あるといえこれは検定を理解してない
ダメな統計の典型でしょコレ
検定力全く考慮してないし
というか科学を理解してないような >検定に検定を重ねまくることが良くある
これはやってる本人が問題性に気付かないでやったり悪用するなら問題だけど
問題性に気づいてて探索的にやるのは別に問題ない
検討したい仮説がみつかれば
それを確かめるための実験をくむなり新しいデータをとって追試することが大事なわけで
検定でやる必要はないけど
再現性こそ科学をささえるものなのではないかと思うけど 検定の問題ってのは結局
使う側にも結果を見る側にも誤解をあたえやすいってのが問題なのではないかと コインを5回投げたら全部、表であった。
0.5^5 < 0.03125なのでこのコインはイカサマ。
コインを5回投げたら表裏表裏表であった。
0.5^5 < 0.03125なので このコインもイカサマ。 (脱字修正)
コインを5回投げたら全部、表であった。
0.5^5 = 0.03125 < 0.05 なのでこのコインはイカサマ。
コインを5回投げたら表裏表裏表であった。
0.5^5 = 0.03125 < 0.05 なので このコインもイカサマ。 p値とは、その事象以下の確率でしか起こらない現象の確率の総和である。
↑↑
サイコロをふって1の目が10回でた。その確率は(1/6)^10
6 2 4 5 2 5 1 3 6 2 の順にでる確率も(1/6)^10である。
1 4 2 4 2 2 4 4 1 1 の順にでる確率も(1/6)^10である。
....
この順列は6^10通り存在するt。
これを全部加算すると p値は(1/6)^10 * 6^10 = 1
ゆえに、いかなるサイコロも統計的にイカサマとはいえない。 >>718
仮説が立ってない
データで検証しうる仮説は何をたてたの?
検定はまず仮説からたてないとダメ
君がやってるのは統計的仮説検定ではないよ 検定に置いて大事なのは
サンプルサイズ、検定力、有意水準、効果量
仮説もきちんと事前にたてるのプロセスとして大事
このあたりが欠けてる検定は何も意味ないよ あれ?このやりとり前にもやったような。。。
同じやつが書いてるのならループするだけだな
落ちるわ 帰無仮説は表がでる確率=1/2
サイコロの各々の目がでる確率=1/6
じゃね? そこが問題じゃない
1/6であることが起こったから
帰無仮説を棄却するというのが根拠ないってこと
それから
前に上げたこと以外に
両側検定なら対立仮説が棄却されるのに
片側検定なら採択されるとか
恣意的に両側片側を選んで上手く欺すことが可能なことも多い
だいたい
片側検定では正の範囲あるいは負の範囲だけ考えるんだから
つまりは条件付き確率を考えるようなもの
であるからして有意水準は半分にしないとおかしい
両側検定の有意水準÷2=片側検定の有意水準
であるべきなのに同じ有意水準でいいとしてるのが
この欺瞞の元凶 >>719
サイコロの各々の目がでる確率=1/6を事前分布として
サイコロをふって1の目が10回でたら、1の目のでる確率のモード値は0.7
6 2 4 5 2 5 1 3 6 2 の順にでたら、1の目のでる確率のモード値は0.07
98%CIとともに図示すると、http://i.imgur.com/CTvq0lL.jpg
p値なんぞ判断には不要。 サイコロのある目のでる確率の95%CIが0.10〜0.20に含まれたときにその目に関しては歪ではない、と定義する。
サイコロを1000回投げて1〜6の目の回数が
309 251 196 151 49 44
であったときの各々の目のでる確率分布は以下のようになる。
95%HDI と 0.10-0.20を比べて1、2、5、6は歪、3はどちらとも言えない、4は歪でないと判断できる。
https://i.imgur.com/w4YD0t9.jpg >>723
1のでる確率=1/6じゃなくて
それぞれの確率=1/6?
全部の確率について仮説たててるの?
P1=P2=P3=P4=P5=P6=1/6が仮説?
それどう考えても自由度足りないよね?
その仮説考えたら次にすべきは
どういうデータを取れば論証できるだろうかになるわけだが
2回ふってでた目をみてそれの確率求めることで一体なにが論証できると思う?
それって何が出ても1/36になるけどそれが検証可能なデータだと思う?
そこに何の意味があるの?
そもそもなぜそこで、n=2の母比率検定じゃなくて、
N=1の一回目の確率x二回目の確率という事象の確率を検討するの?
検定いぜんに実験の企画段階がめちゃくちゃ可笑しいとおもうんだけどな >>724
そうかね自分は科学的なしゅほうだとおもうけどな
科学的な手法ってのは
問をたて仮説をたて
それを検証できるデータをとり
そこから仮説がどうなのか検証し
どうやらこの仮説ははいろいろ説明できるようだぞというなら
とりあえず残しておく
いやいろいろ説明できない点があるぞというときは
とりあえず研究対象から外す
ほんでほかのやつが残った仮説にもどうやら問題あるようだ
こっちのほうがうまく説明できるようだと別の仮説を立てる
しかしかし、以前、は研究対象から外したものがいろいろ調べてみると正しいようだというデータをあつめるやつがいる
これって科学的仮説がたどっていく過程そのもの何だがな
仮説検定はその一旦を担ってるいる似すぎないだけであって
それで全てというものではない。
科学なんてあくまで仮説の積み上げで
仮説が多くの合意を得ることもあるが、その仮説が正しいとするのは結構曖昧にすぎず
不安定なものに過ぎない
根拠がないと言うが統計によってえられた結論ってそもそもどんなものも大した根拠なくて主観がどこかにはいってるよね。 片側両側については一理ないこともないとおもう
しかし、片側にするってことは片側は起きないだろうという論理的説明を一応出来る状態にあるということ
となると対立仮説も片側に発生する可能性がたかくなるわけでしょ。
だったらかりに推定する母数が平均値なら、きむ仮説でたてた平均値にちかい真の平均値も増えるだろう
だったら採択いきは狭くして棄却域増やさざるを得なくなる
という仮説
こういう宗教的論争を多数生み出すてんで結局仮説検定は問題あるんだけどね。 帰無仮説をサイコロの各々の目がでる確率=1/6とするとき
1の目が続けて何回でたら、帰無仮説を棄却する?
棄却されたときに1の目がでる確率はどれくらいのなのか?
1/6.0000001 なのか 1/2なのか? p値は何かを語るだろうか?
むしろ、1の目のでる確率の95%CIが1/12から1/3なら許容範囲、1/12以下や1/3以上なら1の目に関して歪なサイコロと判断する方が実用的だと思う。
1の目が2〜9回連続したときの1の目のでる確率をグラフにすると次のようになる。
http://i.imgur.com/nUd5UMO.jpg
ROPE:Range Of Practically Equalの略 (1/6の半分および2倍の1/12〜1/3とした)
この結果から7回以上連続すれば、歪なサイコロと呼べると思う。 >>728
ディリクレ分布でP1=P2=P3=P4=P5=P6=1/6を事前確率分布にするよ。 >>732
まじで?
よく知らんけど
そんだけのおもい仮説検証で
N=1で自由度足りるの? >>733
それでMCMCして1の目が2〜9回連続したときの1の目のでる確率をグラフが
http://i.imgur.com/nUd5UMO.jpg N=1で6個の仮説を検証できるて凄くないか?
天才っているんだなw
どう考えても無理を可能にする天才
すげぇわ 自由度どう考えても足りないんだけどどうやって補完してるの? 5回1の目が出たときの事後分布はこんな感じでディリクレ分布がMCMCされるよ。
もちろんpi.1+pi2+...+pi.6=1の縛りはある。
pi.1 pi.2 pi.3 pi.4 pi.5 pi.6
[1,] 0.3283620 0.051967675 0.03618622 0.16401712 0.367065379 0.052401570
[2,] 0.6824722 0.009042027 0.02910249 0.03210041 0.018967898 0.228314983
[3,] 0.5938329 0.015613992 0.04579314 0.22754563 0.027786023 0.089428325
[4,] 0.5801030 0.033073118 0.01888069 0.19814067 0.001983984 0.167818557
[5,] 0.5501332 0.056247586 0.04896485 0.02131748 0.090452926 0.232883935
[6,] 0.3149563 0.051999120 0.04049730 0.32030618 0.039353349 0.232887755
[7,] 0.5496275 0.154893875 0.23899680 0.02146069 0.028756420 0.006264765
.... N=1で統計的に正しいですって結果出されても説得力まったくないなぁ
統計は詐欺だと立証されてるようなもんだけどw ごめん詳しいこと知らないので分かるようにせつめして
N=1で六個の仮説についてはんだんできるってすごくね?
どういう理屈? >>735
それがベイズ統計の醍醐味でもあり、胡散臭さでもある。
こういうのね
事前分布を決めてしまえば
まだ一発も撃ったことのない0発0中のゴルゴ16の命中期待値
のような、データ数が少ないどころか0個の場合でも算出・結論できる >>740
よくわからんけどそうなると統計的仮説検定とあんまかわらんような気がするけど N=1ってさ人文科学の事例研究なんだよね
そこから一般論を導き出すようなかんじ
人文科学ってこれだからばかにされるんだけど
コレをうわまわる手法が統計にはあるのかすげぇなw サイコロの目の出る確率が目の数に比例する、
2は1の目の出る確率の2倍
3は1の目の出る確率の3倍
....
とかいう事前分布のとき
1の目が続けて5回でたときの1の目のでる確率の事後分布のグラフも書けるよ。 >>743
グラフ書けるかどうかじゃなくて
バカにも分かるように説明して下さい N=1で6個の仮説の真実説位を検証できる理屈についておしえて 何を持って歪なサイコロとするか、各々の目のでる確率の分布をどう仮定するか、というだけの話。 これを多項分布に応用しただけの話。
ゴルゴ13は100発100中
ゴルゴ14は10発10中
ゴルゴ15は1発1中
とする。
各々10000発撃ったとき各ゴルゴの命中数の期待値はいくらか? >>746
よくわからんが
有意水準の設定と変わらんね
しょうじきN=1で六個の仮説を検定できるなんて
統計的検定より胡散臭いけど結論がよく分からん >>747
それとN=1で六個の仮説を論証出来るのと同関係あるの?
N=1と多項分布がどうかんけいあるのよくわからんえけど >>747
これは命中確率の事前分布を一様分布として
ゴルゴ13は100発100中だったときに
命中確率の分布がどう変わるか、を計算することになる。
ベイズ統計って 事前と事後で 確率分布がどう変わるか(relocation of credibility)を探る手法。 >>749
すべての目の出る確率が等しいと事前確率分布を設定して
1回サイコロをふったら1の目がでた。
各々の目の出る事後確率分布はどうなるか?
これだけの話。
>727で数値を
1 0 0 0 0 0
に置き換えるだけ。 >>750
自分に返答するのは意味不明だけど
けっきょくN=1で六個の仮説を論証できる原理って何なの?
バカにも
IME okashiku natta
sayonara 直ったわ
とりあえずN=1で6個の仮説証明できる原理を教えて >>753
>751に既述。
原理は事前分布の信仰。 1から6の目の出る確率がパラメータα1=α2=...=α6=1のディリクレ分布に従うを事前確率分布とする(これは信仰)。
1回サイコロをふったら1の目がでた。
各々の目の出る事後確率分布はどうなるか?
をMCMCして出すだけ。
1の目の出る確率は平均0.287[95%CI 0.0161-0.593]
2〜5の目の出る確率は各々平均0.143[95%CI 0-0.392]
と計算されたが、この分布で歪がどうかは、
何を歪と判断基準にするのか、というだけのお話。 確率はすべて条件つき確率であり、この点、事後確率をかんがえるベイズの理論は正しい。 >>756
おまえなあ、sageを名前のほうに書いてるのは故意にやってる?
笑えないんだけど?
> ベイズの理論は正しい。
その場合の「正しい」の定義が不明なので意味はない。
意味はないことを書くのが趣味なのかね?
数学で示すべき。
数学板なんだから。 誤差の分布が正規分布という事前確率で頻度主義統計も議論していると思う。 どの面も出るのが同様に確からしい
6面ダイスを独立に2回振った時に
少なくとも一回は1の目が出る確率は
いくらですか? >>759
>同様に確からしい
どの程度、同様に確からしいのを事前確率分布して計算するのがベイズ統計。
ディリクレ分布でパラメータを(1,1,1,1,1,1)とするのか、(10,10,10,10,10,10)とするのか、(100,100,100,100,100,100)とするのかで
少なくとも一回は1の目が出る確率分布は変わる。
図示すると、以下の通り、http://i.imgur.com/J1XUpAw.jpg >>759
>同様に確からしい
どの程度、同様に確からしいのかを事前確率分布して計算するのがベイズ統計。
ディリクレ分布でパラメータを(1,1,1,1,1,1)とするのか、(10,10,10,10,10,10)とするのか、(100,100,100,100,100,100)とするのかで
少なくとも一回は1の目が出る確率分布は変わる。
図示すると、以下の通り、http://i.imgur.com/J1XUpAw.jpg >>761
日本人女性の身長の平均値は1〜2mの間にある、
というのもまあ、信仰と言えなくもない。 初心者はまずこの本読んでみろ
ベイズ統計の理論と方法
渡辺 澄夫 ジョーカーを除いたトランプ52枚の内、ダイヤが39枚
ハートが13枚あるとする
この中から1枚のカードを抜き出し、表を見ないで箱の中にしまった
そして、残りのカードをよく切ってから38枚抜き出したところ、
38枚すべてがダイヤであった
このとき、箱の中のカードがダイヤである確率はいくらか >>766
> 39/52 * choose(38,38)/choose(51,38) / ( 39/52 * choose(38,38)/choose(51,38) + 13/52 * choose(39,38)/choose(51,38) )
[1] 0.07142857 D=39
H=13
T=D+H
# choose(n,r) : nCr
39/52 * choose(38,38)/choose(51,38) / ( 39/52 * choose(38,38)/choose(51,38) + 13/52 * choose(39,38)/choose(51,38) )
(D/T * 1/choose(T-1,D-1)) /((D/T * 1/choose(T-1,D-1)) + H/T * choose(D,D-1)/choose(T-1,D-1))
(D/T)/(D/T+H/T*D)
D/(D+H*D)
1/(1+H) >>766
これ面白いな。
ダイヤがD枚
ハートがH枚あるとする
この中から1枚のカードを抜き出し、表を見ないで箱の中にしまった
そして、残りのカードをよく切ってからD-1枚抜き出したところ、
すべてがダイヤであった
このとき、箱の中のカードがダイヤである確率は 1/(H+1) ハート13枚、ダイヤ39枚の合計52枚のトランプカードから
一枚のカードを表を見ないで箱に入れる
Ωの部分集合を事象と言う
Ω自身は全事象と言う
Ω={ハート,ダイヤ}となる
各 i (1≦i≦4) が根元事象である
ハートが出るという事象A={ハート}で確率P(A)は
P(A)=1/4 となる
最初に箱に入れた時を i
山札をシャッフルしてダイヤがn枚出た後を j として
箱の中のカードがハートであるという事象Aを考える.
A={(i,j)| i または j がハート}
Ω={(i,j)|1≦i≦4,1≦j≦52−n}となり
この208−4n通りの各要素が根元事象
ダイヤが出る枚数はn=38
Ω={(i,j)|1≦i≦4,1≦j≦52−n}から
#A=4x(52−n)−3x(51−n)
=208−4n−153+3n
=55−n
#Aは事象Aに含まれる要素の個数
ハートである確率は
P(A)=(55−n)/(208−4n)=17/56
ダイヤ以外である確率P(X)=P(A)
ダイヤである確率は
∵q=1−{(55−n)/(208−4n)}=39/56
最初に箱の中にしまったカードが
ダイヤである確率は
P(B)=3/4=42/56 >>771
3/4って39/52だから
求める条件付き確率はじゃなくね? >>766
この試行を何回も繰り返して
38枚全てがダイアだった試行を集めて
そのうち箱の中のカードがダイアの割合を求めているんじゃないの? # 数を減らしてシミュレーションしてみる。
# カードは8枚、ダイアDは6枚、ハートHが2枚。
# 8枚から1枚を箱に入れて残りの7枚から5枚引いたら全部ダイアとする。
# 全部ダイアであったときに箱の中のカードがダイアである割合を出してみる。
# 1万回の試行をしてその割合を出すという操作を100回やって平均値や中間値を出してみた。
rm(list=ls())
D=1
H=0
cards=c(rep(D,6),rep(H,2))
n.DH=length(cards)
n.D=sum(cards)
sim <- function(){
index_of_inbox=sample(1:n.DH,1)
inbox=cards[index_of_inbox]
outbox=cards[-index_of_inbox] # cards out of box
drawn=sample(outbox,n.D-1) # 2 cards drawn from outbox
c(inbox=inbox,drawn=drawn)
}
rate_sim <- function(k){
re=replicate(k,sim())
sum(apply(re,2,function(x) sum(x))==n.D)/sum(apply(re,2,function(x) sum(x[-1]))==(n.D-1))
}
re=replicate(100,rate_sim(1000))
summary(re)
> summary(re)
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.2269 0.3164 0.3360 0.3368 0.3587 0.4327
引いたカードがすべてダイアであったとき、箱の中のカードがダイアである割合は1/(H+1)の1/3になった。 ダイヤが出る枚数はn=5
Ω={(i,j)|1≦i≦4,1≦j≦32−n}から
#A=4x(32−n)−3x(31−n)
=128−4n−93+3n
=35−n
#Aは事象Aに含まれる要素の個数
ハートである確率は
P(A)=(35−n)/(128−4n)=5/18
ダイヤ以外である確率P(X)=P(A)
ダイヤである確率は
∵q=1−{(35−n)/(128−4n)}=13/18
最初に箱の中に入れたカードが
ダイヤである確率は
P(B)=3/4 >>776
引いたカードがすべてダイアであったときという条件下での確率ではないよ。
シミュレーションでも否定された。 ジョーカーを除いたトランプ52枚の中から1枚のカードを抜き出し、
表を見ないで箱の中にしまった
そして、残りのカードをよく切ってから3枚抜き出したところ、
3枚ともダイヤであった
このとき、箱の中のカードがダイヤである確率はいくらか
これで計算値が一致する >>775
>引いたカードがすべてダイアであったとき、箱の中のカードがダイアである割合は1/(H+1)の1/3になった。
ここでいうHは>769-770で書いたハートの枚数。 >>778
このときとはどの時?
引いたカードが全部ダイアであったという条件下でだろ? ダイヤが出る枚数はn=3
Ω={(i,j)|1≦i≦4,1≦j≦52−n}で
ベイズと計算結果は一致する シャッフル後にダイヤのカードをn枚引いた時に
箱の中のカードがダイヤ以外のスートが出る確率空間は
1≦n≦12の範囲において一般化すると
Ω={(i,j)|1≦i≦4,1≦j≦52−n}から
#A=4x(52−n)−3x(51−n)
=208−4n−153+3n
=55−n
#Aは事象Aに含まれる要素の個数
スペード・ハート・クラブの各スートの出る確率は
P(A)=(55−n)/(208−4n)
スペード・ハート・クラブである確率は
P(X)=(165−3n)/(208−4n)
ダイヤである確率は
∵q=1−{(165−3n)/(208−4n)} q=1−{(165−3n)/(208−4n)}を
1≦n≦12の範囲において検算すると
7/34
41/200
10/49
39/192
19/94
37/184
1/5
35/176
17/86
11/56
8/41
31/160
山札からダイヤのカードが出るほど
箱の中のカードがダイヤである確率は下がってゆく
しかし、最初の4スートからの選択時の重み1/4は
かなり残っている f <- function(n=38,D=39,H=13){
T=D+H
(D/T * choose(D-1,n)/choose(T-1,n)) /((D/T * choose(D-1,n)/choose(T-1,n)) + H/T * choose(D,n)/choose(T-1,n))
}
n=1:(D-1)
f(n)
plot(n,f(n),pch=19,bty='l')
n枚全部ダイアであった場合の条件付き確率は以下の通りだな。
n=0で3/4
> f(n)
[1] 0.74509804 0.74000000 0.73469388 0.72916667 0.72340426 0.71739130 0.71111111
[8] 0.70454545 0.69767442 0.69047619 0.68292683 0.67500000 0.66666667 0.65789474
[15] 0.64864865 0.63888889 0.62857143 0.61764706 0.60606061 0.59375000 0.58064516
[22] 0.56666667 0.55172414 0.53571429 0.51851852 0.50000000 0.48000000 0.45833333
[29] 0.43478261 0.40909091 0.38095238 0.35000000 0.31578947 0.27777778 0.23529412
[36] 0.18750000 0.13333333 0.07142857 >>776
3/4は引いたカードが0枚の時の確率。 >>778
[1] 0.2040816
> f <- function(n=38,D=39,H=13){
+ T=D+H
+ (D/T * choose(D-1,n)/choose(T-1,n)) /((D/T * choose(D-1,n)/choose(T-1,n)) + H/T * choose(D,n)/choose(T-1,n))
+ }
> f(3,13,52-13)
[1] 0.2040816 >>786
ダイアが13枚ならその数値になる。
>>766の答は1/14
f <- function(n,D=13,H=52-13){
T=D+H
(D/T * choose(D-1,n)/choose(T-1,n)) /((D/T * choose(D-1,n)/choose(T-1,n)) + H/T * choose(D,n)/choose(T-1,n))
}
n=0:12
f(n)
plot(n,f(n),pch=19,bty='l')
[1] 0.25000000 0.23529412 0.22000000 0.20408163 0.18750000 0.17021277 0.15217391 0.13333333
[9] 0.11363636 0.09302326 0.07142857 0.04878049 0.02500000 ■ このスレッドは過去ログ倉庫に格納されています