統計学Part17 [無断転載禁止]©2ch.net
レス数が1000を超えています。これ以上書き込みはできません。
違った
x=exp(log((a-1)Xb)/a-2))
だった。なるほど 間違っていた
b(a-1)
だった、聞くまでもなった 「異端の統計学ベイズ」が面白かった
こんな別世界があったなんて気づかなかった >>940
ベイズは異端でもなんでもないです
普通にデータ分析すればベイズになります
そういうタイトルを付ければ
釣られて本買うアホがいる
ということです 頻度論 VS ベイズみたいな構造で別物として考えようとする限りベイズを理解できているとは言えないだろうな ベイズを理解できなかった人の成れの果てのような記事
島根県の事例からも数字で明らかになる「検査をすると患者が増える」説のデタラメさ
https://hbol.jp/224407
>島根県、陽性者発生と大規模検査をベイズ推定で検証! >>943
お前がバカ過ぎるの
笑えるぐらいバカw このスレって初心者しかいないんだねえ(笑)
「ベイズってスゲーッ!」って
書けばいいの?(笑)
じゃベイズってなんだよ?
本読んで勉強したんだろ?(笑)
>>943はベイズを説明してみな。
できないだろうな
バカだからね(笑) >>945,946
悔しくて2連投。涙ふけよww
バカと言われた返しがこれ↓
>「ベイズってスゲーッ!」って
バカ丸出し。やはりただの知ったかぶりだったな
お前はこのスレで1番の知ったかぶりのバカと認定してやるよw
「お前が知ったかぶりかつバカである」という仮定の事前確率は0.9だったが
お前のレスで事後確率は、0.9999999になったw >>784
自分も気になってたから自分なりにまとめてみた
まず同じ確率分布を持つ変数x_iたちのどんな2次形式の平均値も元の確率分布の平均μと分散σ^2を使って書ける
実際、ベクトル表記x=(x_i)∈R^nと行列A∈M_n(R)を使って
一般に2次形式はx^tAxと書けるが、その平均E[x^tAx]は
σ^2tr(A)+μ^2(Σ_i,jA_ij)と計算できる
σ^2だけを得たい(σ^2の不偏推定量がほしい)のであれば
2項目つまりΣ_i,jA_ijがゼロであればよい
例えば、 Aが(1,1,…,1)に垂直な(n-1)次元超平面への射影行列であれば満たされる
この時、σ^2の係数であるtr(A)は(n-1)となる
(射影行列のトレースは像空間の次元に一致する)
こうしてE[x^tAx]=(n-1)σ^2を得る
同じように
一般にAが(1,1,…,1)に垂直な(n-k)次元超平面への射影行列であれば、E[x^tAx]=(n-k)σ^2を得る
多重線形回帰はこの射影する次元をパラメータを推定することで下げてると見ることができる
しかしσ^2の不偏推定量がほしいだけであればΣ_i,jA_ij=0であるどんな2次形式x^tAxを使ってもいい
そのときσ^2の係数はtr(A)だけズレる >>948
補足
標本の分散をn倍したものΣ(x_i-(Σx_k)/n)^2は
A=I-1/nP(Iは単位行列、Pは全ての成分が1の行列)を使って
x^tAxという2次形式になっている
この行列Aは対称かつ冪等なので射影行列であり
(1,1,…,1)に垂直な(n-1)次元超平面への射影になっていて
実際トレースは(n-1)である >>948
計画行列から射影行列を計算して二次形式の期待値を計算すれば(n-1)σ^2が求まるということですか? というか射影される次元はrank(A)に依存するか 検定やら回帰分析は統計学でカバーしているが,
機械学習はクラスタリングや決定木とか、統計学の範囲を超えた部分もあるので,
そこらへんは機械学習使わんといかんと思います。 誰かわかる?
TOEICみたいな英米の選択式試験て素点をスケーリングしてスコアにすることがほとんどだけど
英医学部適性試験UCATの資料みると
昨年の試験のある部分
素点平均21.27標準偏差5.78最高39
最高のZ値=(39-21.27)/5.78=3.06...
300から900にスケーリングするってんだが、結果
平均557.5標準偏差74.21最高890
最高のZ値=(890-557.5)/74.21=4.48...???
英米のこの手の換算かなり見たけど
おおざっぱではあってもほぼ線形
Z値ほぼ変わらない
しかし
この結果
いったいどういうスケーリングしたんだろ?
まったく想像できない >>953
少なくとも、線形でスケーリングするなんて今時どこもやっていない。
たまたま数字が合っただけかと。 偏差値は?
平均50
標準偏差10
線形スケーリング https://collegedunia.com/exams/toeic/results
上と下はあやしいが
ほぼ線形
英米ってなんでこうすんだろう
SATとかIQテストもこういうの多い
変換後5とか10きざみ
ある程度以上だと変換後スコア同じ
ある程度以下だと変換後スコア同じ
ってのがよくある 選択式なのでたとえば4択40問ならわからなくても平均10
これより下はわかってないとして0にスケーリング
最高のZは高くなる 選択式なのでたとえば4択40問ならわからなくても平均10
これより下はわかってないとして0にスケーリング
最高のZは高くなる この問題分からないから誰か教えてくれ
不偏推定量と有効推定量についての問題
母平均μ(≠0)が分からない母集団分布から無作為抽出された標本X(1)、X(2)、X(3)、X(4)をとる。母分散は12である。
(1)母平均μの3つの推定量
T(1)=(X(1)+X(2)+X(3)X(4))/4
T(2)=(X(1)+2X(2)+2X(3)X(4))/6
T(3) =(X(1)+X(2)+X(3)X(4))/3
の中でどの推定量が不偏推定量であるか
(2)3つの推定量の中でどれが最も有効な推定量であるか >>960
誤字ってないか
X(3)とX(4)の間に+がないとどれも不偏推定量にならん気が >>961
誤字ってました。すいません
T(1)=(X(1)+X(2)+X(3)+X(4))/4
T(2)=(X(1)+2X(2)+2X(3)+X(4))/6
T(3) =(X(1)+X(2)+X(3)+X(4))/3
ですね 一括してT=aX(1)+bX(2)+cX(3)+dX(4)とおいて計算する
T(1)のとき、a=1/4,b=1/4,c=1/4,d=1/4
T(2)のとき、a=1/6,b=2/6,c=2/6,d=1/6
T(3)のとき、a=1/3,b=1/3,c=1/3,d=1/3
X(i)の期待値はE[X(i)]=μ
X(i)X(j)(i≠j)の期待値はE[X(i)X(j)]=E[X(i)]E[X(j)]=μ^2
X(i)^2の期待値はE[X(i)^2]=σ^2+μ^2=12+μ^2
である
(1)
Tがμの不偏推定量であるためにはTの期待値E[T]がμと一致しなければならない
E[T]=E[aX(1)+bX(2)+cX(3)+dX(4)]
=aE[X(1)]+bE[X(2)]+cE[X(3)]+dE[X(4)]
=aμ+bμ+cμ+dμ=(a+b+c+d)μ
よって(a+b+c+d)=1となっているT(1)とT(2)が不偏推定量である
(2)
Tが最も有効となるのはTが不偏かつその分散E[(T-E[T])^2]が最も小さくなるときである
E[(T-E[T])^2]=E[T^2]-E[T]^2
= E[(aX(1)+bX(2)+cX(3)+dX(4))^2]-((a+b+c+d)μ)^2
=a^2E[X(1)^2]+b^2E[X(2)^2]+c^2E[X(3)^2]+d^2E[X(4)^2]2abE[X(1)X(2)]+…+2cdE[X(3)X(4)]-((a+b+c+d)μ)^2
=(a^2+b^2+c^2+d^2)σ^2
=12(a^2+b^2+c^2+d^2)
となるので、結局a〜dの平方和が最も小さいものが最も有効となる
この平方和はT(1)では1/4、T(2)では5/18となる
よって、T(1)がこの中で最も有効である >>963
本当にありがとうございます。感謝しかないです。 カシオのWebアプリClassPad.net
https://youtu.be/HOESVQ4TzV0
手書きの図をきれいに出力してくれたり
ユーザー定義関数を使えるのがいいね 質問なのですが、最近GNIの統計を調べていたんですが、国連の統計で2018年の2年前までしか調べられません。
それを鑑みると、データブック2020は2019/12の発売で、GNIの統計データが2017年になっていて、なるほど2年前のデータです。
なぜ1年のラグは分かりますが、なぜ2年のラグが生じるのでしょうか?
教えてください。 質問なのですが、最近GNIの統計を調べていたのですが、国連の統計で2年前の2018年までしか調べられません。
それを鑑みると、データブック2020は2019/12の発売で、載っているGNIの統計データが2017年になっていて、なるほど2年前のデータです。
1年のラグは分かりますが、なぜ2年のラグが生じるのでしょうか?
教えてください。
(日本語がおかしかったので修正しました) 2830
学コン・宿題ボイコット実行委員会@gakkon_boycott 9月1日
#拡散希望
#みんなで学コン・宿題をボイコットしよう
雑誌「大学への数学」の誌上で毎月開催されている学力コンテスト(学コン)と宿題は、添削が雑で採点ミスが多く、訂正をお願いしても応じてもらえない悪質なコンテストです。(私も7月号の宿題でその被害に遭いました。)このようなコンテストに参加するのは時間と努力の無駄であり、参加する価値はありません。そこで私は、これ以上の被害者を出さないようにするため、また、出版社に反省と改善を促すために、学コン・宿題のボイコットを呼び掛けることにしました。少しでも多くの方がこの活動にご賛同頂き、このツイートを拡散して頂ければ幸いです。
https://twitter.com/gakkon_boycott/status/1300459618326388737
https://twitter.com/5chan_nel (5ch newer account) 2.0 4.9
12.7 28.4
0.7 2.3
5.4 11.9
0.9 8.9
3.9 13.9
6.2 26.5
31.3 47.2
26.5 37.0
9.2 26.4
10.1 27.3
5.7 19.8
21.9 ?
左の列の数字の時に右の列の数字が出るとして、
?が30以上になる確率を求める方法が知りたいです。
エクセルのFORECAST関数で36.67くらいになりそうだということまでは分かったのですが。
(左が予備校生のうち試験で成績が悪かった人の割合%、
右が試験受験者全体のうち試験で成績が悪かった人の割合%です。
予備校生のデータから未発表の全体の割合が30%を超える確率が知りたいです。) ExcelのMINVERSEって
内部でやってるのはLU分解でしょうか? 逆行列を返すからLU分解してんのかもな
途中の処理を知ってどうするの? こちらの論文をもとにサンプルサイズを計算したいのですが、式5(ミュー>0
のとき)を使って計算しても再現できないのです。この論文の式、間違っていると思われるのですが、正しい式わかりました(導出できる方いました)ら、お教え下さい。
https://www.degruyter.com/configurable/contentpage/journals$002fijb$002f12$002f2$002farticle-20150039.xml 統計学の初心者です。
セミコロンの意味について教えてください。
最尤推定量の説明の中に、
L(Θ;x) = f(x;Θ)という説明がでてきたのですが、
数学において(少なくともピュアマスでは)
セミコロンがこのような場所で使われたことを見たことがありません。
なので統計学特有の使い方と思いますが、
説明がありません。
(統計学者にとっては常識???)
どういう意味かわかるかたいましたら教えてください。 条件付き確率の事だと思うけど
|を使う書き方と同じじゃないかな?
違いがあるのかな? 統計では普通に使う
単純にセミコロンの後はパラメータを書いているだけ 米国大統領戦で多くがバイデン勝利を予想していますが
こういった予想は可能なのでしょうか?
統計学者のネイトシルバーも前回の大統領選の予測は外していますが
有権者数に対してサンプル数が少なすぎる等の根本的な問題が有るような気がします。 米国大統領選挙は州ごとに勝者全取りだから
大票田の州と少ない州もあるし
選挙制度によって予測方法も変わると思う >>976
> |を使う書き方と同じじゃないかな?
条件付き確率ということですか?
>>977
> 統計では普通に使う
> 単純にセミコロンの後はパラメータを書いているだけ
それが全く理解できないんですけど、
セミコロンの前も後ろもパラメータですよね?
統計学の人は、カンマのかわりにセミコロンを使うということですか? ぐぐって次のところを見つけました。
https://oshiete.goo.ne.jp/qa/144427.html
> f(x; a,b) = (x^a)e^(-x/b)
> なんて書いて、「fはx,a,bによって値が決まる関数だけど、a,bは係数として
> の性格が強くて、a,bを固定してxの関数と見なすことが多い」てなニュアンス
> で、カンマとセミコロンを使い分けちゃったりすることがあります。
と書いてありました。
なるほど、統計学ってのは
汚い学問だとよく聞きますが、
なるほど汚いw(笑)
意味不明の記述をして
難しいことをしているらしく
見せかけているということですね。
了解できましたw 数学的にはxもaもbも対等に見えるかも知れないがあくまで統計は現実世界を記述することが目的なので
どれが現実世界に直接現れるものでどれがハイパーパラメータかを区別するのは極めて重要 >>981
> ぐぐって次のところを見つけました。
>
> https://oshiete.goo.ne.jp/qa/144427.html
>
>
> > f(x; a,b) = (x^a)e^(-x/b)
> > なんて書いて、「fはx,a,bによって値が決まる関数だけど、a,bは係数として
> > の性格が強くて、a,bを固定してxの関数と見なすことが多い」てなニュアンス
> > で、カンマとセミコロンを使い分けちゃったりすることがあります。
>
> と書いてありました。
> なるほど、統計学ってのは
> 汚い学問だとよく聞きますが、
> なるほど汚いw(笑)
>
> 意味不明の記述をして
> 難しいことをしているらしく
> 見せかけているということですね。
>
> 了解できましたw
カンマとセミコロンの使い分けは単に英文法でしょ。 >>981
a, bの条件付きでの確率変数xの関数
みたいに解釈している 数理に基づいた学問でも工学や物理学を始めとして分野によってどこまで明確に精確に数学を用いるかは違うしな >>981
別に数学でも、セミコロン使うだろ
君何年生? 初心者がここで質問してよろしいでしょうか?
ある業務の、1つの案件に対する作業時間をプロットしてヒストグラムを作成して、X軸を対数変換したら、綺麗な正規分布になりました。
これは対数正規分布だと思うのですが、それであれば作業時間合計(残業時間)の予想(信頼区間を出す)ことが可能だと考えました。
仮に、20件の案件がある場合には、@ 標本平均とt値、標準偏差から、信頼区間を出します。
A 次に、信頼区間上限・下限をe乗してあげると、対数変換を戻した時の標本平均の信頼区間が出ます。
B 最後に、信頼区間を20倍してあげると、作業時間合計の信頼区間が出ます。
以上の手順ですが、自分でやっていて正しい計算とは思えません。
試しに、実際のデータから20件の標本平均を、100回抽出して、ヒストグラムを作成することを何度かやってみましたが、信頼区間の上限を超えて、信頼区間の下限はほとんど超えないという結果になりました。
どなたか正しい計算をお教えいただくことはできないでしょうか。
よろしくお願いします。 >>988
確率変数を20倍したものと
20個の確率変数を足したものの分布は違うと思う
確率変数の和の分布の平均と分散は計算出来る
https://bellcurve.jp/statistics/course/18592.html
20の和の確率変数の平均と分散を使って信頼区間を求めたら良いと思う >>988
別の方法はブートストラップ法で分布を求める方法
20のデータを100回取り出して分布を作ったのを
もっと多く1万回とかにして分布を作って
その平均や分散を計算して推定値とする >>990
ありがとうございます
信頼区間の導出の仕方をもう少し勉強してからやってみようと思います
ブートストラップ法はExcelで手作業でやるには難しそうでした
今日、コルモゴロフ=スミルノフ検定をしたところ(計算の仕方が合っているかは分かりませんが)正規分布ではありませんでした。
また、E(ln(X))と、ln(E(X))は、異なる値になることも知りました。
E(ln(X))は、ln(相乗平均(X))と対応しているようです。
また整理できたら質問させていただくかもしれません >>991
作業時間データを行方向に書く
その範囲の行番号を乱数で発生させて
index関数でデータを取り出す
列方向に20個ランダムサンプリングしたデータの和を列に追加する
行方向にコピーして1万行同様の計算をする
1万行21列の和を計算した列からヒストグラム、平均、分散を計算する NHKの高校数学(ベーシック数学)を見ていたんだが、
事前確立と事後確率の説明が間違っているんだが、
三流役者のお笑いの部分ばかり多くて
大事な説明が間違っているとは、なさけないぞNHK!!! 残レスが僅かのときに恐縮ですが、検定について質問させてください
商品について金額基準の故障率を考えています
たとえば1千円の商品が5個、2千円の商品が5個あるとき、2千円のものが1個故障したときの故障率は、
個数で見たときは1/10=0.10ですが、金額で見たときは2/(1*5+2*5)=0.13になります
このとき、全ての商品の金額・個数・故障件数を基に計算した金額故障率と、
特定の層に販売した商品についての金額故障率とを比較して、
全体平均よりも故障率が大きいかどうか判断するために検定を行おうと考えています
率同士の比較という事で安直に、全体を母集団、特定層をサンプルとした母比率の検定を考えたのですが、
取る値が01でないためかうまくいきません
なにかよいアイデアはないでしょうか
よろしくお願いします >>998
何年分かの1月毎とか1週毎の故障率を集めて分布、ヒストグラムを全体と特定層向けの両方作る
故障率を確率変数とした分布になると思うから
その2つの分布が同じ分布かどうかを適合度検定するとか このスレッドは1000を超えました。
新しいスレッドを立ててください。
life time: 1546日 6時間 32分 33秒 レス数が1000を超えています。これ以上書き込みはできません。