何谓随机变量?即给定样本空间(S,F),其上的实值函数X:S->R 称为(实值)随机变量。
如果随机变量X的取值是有限的或者是可数无穷尽的值,则称为离散随机变量(用白话说,此类随机变量是间断的)。 如果由X全部实数或者由一部分区间组成,则称X为连续随机变量,连续随机变量的值是不可数及无穷尽的(用白话说,此类随机变量是连续的,不间断的):
也就是说,随机变量分为离散型随机变量,和连续型随机变量,当要求随机变量的概率分布的时候,要分别处理之,如:
- 针对离散型随机变量而言,一般以加法的形式处理其概率和;
- 而针对连续型随机变量而言,一般以积分形式求其概率和。
再换言之,对离散随机变量用求和得全概率,对连续随机变量用积分得全概率。这点包括在第4节中相关期望.方差.协方差等概念会反复用到,望读者注意之。
2.离散型随机变量的定义定义:取值至多可数的随机变量为离散型的随机变量。概率分布(分布律)为: 且
若X的分布律为: 同时,p+q=1,p>0,q>0,则则称X服从参数为p的0-1分布,或两点分布。
此外,(0-1)分布的分布律还可表示为: 或
我们常说的抛硬币实验便符合此(0-1)分布。
二项分布是n个独立的是/非试验中成功的次数的离散概率分布,其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。举个例子就是,独立重复地抛n次硬币,每次只有两个可能的结果:正面,反面,概率各占1/2。
设A在n重贝努利试验中发生X次,则: 并称X服从参数为p的二项分布,记为:
与此同时,
Poisson分布(法语:loi de Poisson,英语:Poisson distribution),即泊松分布,是一种统计与概率学里常见到的离散概率分布,由法国数学家西莫恩·德尼·泊松(Siméon-Denis Poisson)在1838年时发表。
若随机变量X的概率分布律为 称X服从参数为λ的泊松分布,记为:
有一点提前说一下,泊松分布中,其数学期望与方差相等,都为参数λ。
泊松分布的来源
在二项分布的伯努力试验中,如果试验次数n很大,二项分布的概率p很小,且乘积λ= n p比较适中,则事件出现的次数的概率可以用泊松分布来逼近。事实上,二项分布可以看作泊松分布在离散时间上的对应物。证明如下。
首先,回顾e的定义: 二项分布的定义:
如果令p=λ/n,n趋于无穷是P的极限:
上述过程表明:Poisson(λ) 分布可以看成是二项分布 B(n,p) 在 np=λ,n→∞ 条件下的极限分布。
最大似然估计
给定n个样本值ki,希望得到从中推测出总体的泊松分布参数λ的估计。为计算最大似然估计值, 列出对数似然函数: 对函数L取相对于λ的导数并令其等于零:
解得λ从而得到一个驻点(stationary point):
检查函数L的二阶导数,发现对所有的λ 与ki大于零的情况二阶导数都为负。因此求得的驻点是对数似然函数L的极大值点:
证毕。OK,上面内容都是针对的离散型随机变量,那如何求连续型随机变量的分布律呢?请接着看以下内容。
实际中,如上述第2.所述,
- 对于离散型随机变量而言,其所有可能的取值可以一一列举出来
- 可对于非离散型随机变量,即连续型随机变量X而言,其所有可能的值则无法一一列举出来
故连续型随机变量也就不能像离散型随机变量那般可以用分布律来描述它,那怎么办呢(事实上,只有因为连续,所以才可导,所以才可积分,这些东西都是相通的。当然了,连续不一定可导,但可导一定连续)?
既然无法研究其全部,那么我们可以转而去研究连续型随机变量所取的值在一个区间(x1,x2] 的概率:P{x1 < X