数学基础之最大似然准则

​
​

活动地址：CSDN21天学习挑战赛

除了梯度下降法，还有最大似然估计，可以用来推导损失函数。

预备知识

概率论

最大似然原则

示例： 有一个骰($t\acute{o}u$)子,分别标有1，2，3，4，5，6，这六个数字，投掷骰子，设事件A为出现小于6，事件B为出现6。如果每一面出现个概率都是$\frac{1}{6}$，那么事件A的概率是$\frac{5}{6}$。如果投掷多次，如6次，会出现一次6，即$p=\frac{1}{6}$。进一步，投掷10次，有10种情况，每种情况发生的概率为$p\cdot (1-p{)}^9$，那么这10中情况出现的总概率为$10\cdot p\cdot (1-p{)}^9$，带入$p=\frac{1}{6}$，则有事件B发生一次的概率为0.323。如果熟悉概率分布，就会知道这个是二项分布，即
p { x = B } = ( k n ) p k ⋅ ( 1 − p ) n − k p\{x=B\} = (kn)

p^k \cdot (1-p)^{n-k} p{x=B}=(kn​)pk⋅(1−p)n−k

from scipy.stats import binom
import numpy as np
import matplotlib.pyplot as plt
nums = np.asarray(np.linspace(0,10,11),dtype='int')

pB = binom.pmf(k=nums, n=10, p=1/6)
plt.stem(nums, pB)
plt.xlabel('Number of 6')
plt.ylabel('Probabilty')
1
2
3
4
5
6
7
8
9

图1

即投掷10次，事件B出现一次和2次的概率分别为0.323和0.297.

进一步，我们假设事件B出现，投掷10次，事件B出现2次的概率是多少？？如果骰子有两个面是6，投掷10次，事件B出现2次的概率是多少？依此类推，有骰子的数字为6的面数从0依次到6，则事件B发生的概率分别为$p=\frac{0}{6}，\frac{1}{6}，\frac{2}{6}，\frac{3}{6}，\frac{4}{6}，\frac{5}{6}，\frac{6}{6}$,则有事件B出现两次的概率是多少？

from scipy.stats import binom
import numpy as np
import matplotlib.pyplot as plt

nB = np.asarray(np.linspace(0,6,7), dtype='int')
pB = binom.pmf(k=2, n=10, p=nB/6)
plt.stem(nB, pB)
plt.xlabel('Number of 6')
plt.ylabel('可能性')
plt.title('非正式似然估计')

1
2
3
4
5
6
7
8
9
10
11

图2 > **最大似然准则**：选择模型的参数值，以便观测数据具有最大的可能性。 由图2可知，骰子有0个6，依次到有6个6，出现2个6的可能性。

那么如何通过最大似然估计确定参数呢？

• 有一个含待求的参数的概率分布模型
• 不同的参数对应的模型有不同的可能性
• 选择可能性最大的参数