3. 尤度関数の計算と最尤推定法

今回は尤度関数というものを考えていきます。とその前に尤度は「ゆうど」と読みます。あまり見たことない漢字ですね。犬度ではありません。

ベイズ統計学では結果から原因を計算する、あるいはデータから確率を計算するというような考えをしますが、尤度関数も全く同じです。

尤度関数はデータから確率の「尤もらしさ(もっともらしさ)」を関数として表します。

そして、最も尤もらしい値で推定することを最尤推定法と言います。

このままではよくわかりませんので、例を挙げて説明します。

例えば、形がいびつなコインで表が出る確率がわかりません。しかし10回コインを投げると、

表裏表表裏裏裏裏表裏

と出たとします。コインを投げて表が出る確率をpとすると、この状況になる確率はベイズの定理より

 P(表裏表表裏裏裏裏表裏)P(θ|表裏表表裏裏裏裏表裏)

= P(θ)P(表裏表表裏裏裏裏表裏|θ)

ここで、大事なことですが、P(表裏表表裏裏裏裏表裏)は定数(=Cとする。)

です。もう出てしまっているので、これは変わりようがありません。

さらに、二項分布の性質から、

となりますので、先ほどのベイズの定理の式は

 

ここで、P(θ)は事前確率、P(θ|表裏表表裏裏裏裏表裏) は事後確率であり、求めたいのは事後確率であります。そのため、よくわからないP(θ)を定数扱いします。そうすると、先ほどの式は

となります。この式の

この部分が尤度関数になります。尤度関数は確率を変数とする関数であり、これが最も大きくなるとき、つまり最ももっともらしい値で推定しようというのが最尤推定法になります。

「標本は確率最大のものが実現した」と考えるのが最尤原理というものです。

なので、この関数を微分すると、これが最大となるところがわかると思いますので微分して見ましょう。

よって、この関数はのとき、極大値であり、このとき、尤度関数は最大になります。

よってP(θ|表裏表表裏裏裏裏表裏)の推定量は0.4になります。

ここまでややこしく考えなくても、「10回投げて、表が4回出たから、表が出る確率は0.4で間違ってないの?」という疑問を抱くかもしれません。しかし、それは一般的な統計の考え方でありまして、「表が出る確率が0.4のとき、尤度関数が最大となる」という証明が必要になります。

今回は普通の確率でも簡単に解ける問題でしたが、難しくなってくると、尤度関数を考えなければならない問題も多くあります。次回はベイズの定理の問題で有名なモンティ・ホール問題と三囚人問題を考えていきたいと思います。

次回は4. モンティ・ホール問題(直感的な方法)