先验分布与后验分布

null先验分布与后验分布先验分布与后验分布贝叶斯分析统计推断中可用的三种信息 1.总体信息：总体分布或所属分布族提供给我们的信息 2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息。 统计推断中可用的三种信息 null 贝叶斯统计学的基础是著名的贝叶斯 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 ，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 《论有关机遇问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。一、贝叶斯公式的三种形式一、贝叶斯公式的三种形式1.贝叶斯公式的事件形式：null假设Ⅰ 随机变量X有一个密度函数p(x;θ)，其中θ是一个 参数 转速和进给参数表a氧化沟运行参数高温蒸汽处理医疗废物pid参数自整定算法口腔医院集中消毒供应 ，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ 当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。 2.贝叶斯公式的密度函数形式贝叶斯学派的一些具体思想或者叫着基本假设：null假设Ⅲ 从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1） 先验分布：定义1 将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。（2） 后验分布：在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数： null3.贝叶斯公式的离散形式：3.贝叶斯公式的离散形式： 当 是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式： 假如总体X也是离散的，则只须将p(x|θ)换成P(X=x|θ)即可。null 前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 就是使用上面的贝叶斯公式，调整的结果就是后验分布 。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到 。所以对θ的统计推断就应建立在后验分布 的基础上。二、后验分布是三种信息的综合null例1、设事件A的概率为 ，即 。为了估计 而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布 即 解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解，对 的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验分布。因为它在（0，1）上每一点都是机会均等的。因此：此式在定义域上与二项分布有区别。如何求出后验分布？null3.计算X的边际密度为:null注：1.伽玛分布与贝塔分布简介：null2.特例：当p=q=1时， βⅠ(1,1)型分布即为区间[0，1]上的均匀分布；null3.为什么将贝塔分布作为θ的先验分布族是恰当的？ (1)参数θ是废品率，它仅在（0，1）上取值。因此，必需用区间（0，1）上的一个分布去拟合先验信息。β分布正是这样一个分布。 (2)β分布含有两个参数p与q，不同的p与q就对应不同的先验分布，因此这种分布的适应面较大。 (3)样本X的分布为二项分布b(n,θ)时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布(β分布)称为参数θ的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。null例2、投资决策问题例2、投资决策问题 为了提高某产品的质量，公司经理考虑增加投 资来改进生产设备，预计需投资100万元，但从投 资效果看，下属部门有两种意见： θ1 ：改进生产设备后，高质量产品可占90% θ2 ：改进生产设备后，高质量产品可占70% 问：公司经理怎样决策？ 注：根据过去的经验知：θ1的可信度为40%，θ2的可 信度为60%null三、共轭先验分布三、共轭先验分布1、共轭先验分布 定义2 设 是总体分布中的参数（或参数向 量）， π(θ)是 的先验密度函数，假如由抽样 信息算得的后验密度函数与π(θ)有相同的形式， 则称π(θ)是 的（自然）共轭先验分布。 注意：共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。 例3、证明：正态均值（方差已知）的共轭先验分布是正态分布。例3、证明：正态均值（方差已知）的共轭先验分布是正态分布。(2)确定先验分布:证明思路： (1)写出样本的似然函数:(3)计算后验分布:(3)计算后验分布:nullnull例：设X表示人的胸围，根据经验，胸围是近 似服从正态分布的。现测量了n=10000个 人的胸围，得样本均值为39.8(cm)，样本 方差为4，假设θ的先验分布为N(38,9)， 求θ的后验分布。 (答案： N(39.8,1/2500))说明：样本容量较大时，似然函数起决定作用，先验信息几乎不起做用。2、怎样简化后验分布的计算 ——省略常数因子 2、怎样简化后验分布的计算 ——省略常数因子 在给定样本分布p(x|θ)和先验分布π(θ)后可用贝叶斯公式计算θ的后验分布：π(θ)= p(x|θ)π(θ)/m(x)，由于m(x)不依赖于θ，在计算θ的后验分布中仅起到一个正则化因子的作用。假如把m(x)省略，把贝叶斯公式改写成如下等价形式：利用后验分布的核重新证明例3利用后验分布的核重新证明例3例4、 证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。例4、 证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。3、共轭先验分布的优缺点3、共轭先验分布的优缺点 共轭先验分布在很多场合被采用，因为它有 两个优点： （1）计算方便。 （2）后验分布的一些参数可得到很好的解释。不足：怎样找到合适的先验分布？例5、 例3中后验均值与后验方差的合理解释。例5、 例3中后验均值与后验方差的合理解释。由例3知 其中 是用方差倒数组成的权，于是后 验均值 是样本均值与先验均值 的加权平均。 而 可解释为：后验分布的精度是 样本均值分布的精度与先验分布精度之和，增加样本 量n或减少先验分布方差都有利于提高后验分布的精度。例6、对例4中后验分布的均值和方差的解释。例6、对例4中后验分布的均值和方差的解释。分析：后验分布Be(α+x, β+n-x)的均值和方差可写为：nullnull4、 常用的一些共轭先验分布4、 常用的一些共轭先验分布 共轭先验分布选取的一般原则： 是由似然函数L(θ)=p(x|θ)中所含的因式所 决定的，即选与似然函数具有相同核的分布作 为先验分布。基本思路：基本思路：写出样本的似然函数：么分布具有这种形式的核呢？nullnull常用的一些共轭先验分布常用的一些共轭先验分布四、 超参数及其确定四、 超参数及其确定1、超参数的定义：先验分布中所含的未知参数称为超参数2、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法。问题：二项分布中成功概率θ的共轭先验分布是贝塔分布Be(α,β)，怎样确定两个超参数α和β？1.利用先验矩：1.利用先验矩：2.利用先验分位数：2.利用先验分位数：假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定α与β，譬如用两个上、下四分位数θU与θL来确定α与β，θU与θL分别满足如下二个方程：从这两个方程解出α与β即可确定超参数。3.利用先验矩和先验分位数3.利用先验矩和先验分位数假如根据先验信息可获得先验均值 和p分位数 ，则可列出下列方程： 由此可解出α与β的估计值。4.其它方法 五、多参数模型五、多参数模型求某一个参数的后验分布的基本思想可概括为：先根据先验信息给出参数的先验分布，然后按贝叶斯公式算得后验分布，即：但在很多实际问题中却包含有多个未知参数的情形，如正态分布、多项分布以及多元正态分布等，此时可采用与单参数相似的方法来求参数的后验分布，而把其它的参数看成是讨厌参数。例8、试求正态均值与正态方差的（联合）共轭先验分布及后验分布。例8、试求正态均值与正态方差的（联合）共轭先验分布及后验分布。1.取先验分布为 的情形1.取先验分布为 的情形nullnullback2.取先验分布为共轭先验分布的情形2.取先验分布为共轭先验分布的情形(1)求 的共轭先验密度 (2)求 的后验边际密度 (3)求给定 后 的条件后验密度函数六、充分统计量六、充分统计量1、经典统计中充分统计量的回顾 充分性是数理统计中最重要的概念之一，也是数理统计这一学科特有的基本概念之一。它是Fisher在1925年提出的。 充分性的直观定义：不损失信息的统计量。 引例：研究某个运动员的打靶命中率θ，我们对该运动员进行10次测试，发现除第三、六次没有命中外，其余8次都命中，这样的结果包含了哪些信息？ （1）打靶10次命中8次； （2）2次不命中分别出现在第3次和第6次打靶上。null定义：设 是来自分布函数F(x|θ)的一个样本，T=T(x)是统计量，假如在给定T(x)=t的条件下，x的条件分布与θ无关的话，则称该统计量为θ的充分统计量。 充分统计量的一个重要特性：当得到充分统计量T的某个取值t之后，而失去原样本的观察值也没有关系。因为我们可以根据上述的条件分布来构造某个随机试验，从中获得来自总体的一个新样本，这个新样本虽不能完全恢复老样本的原状，但它与老样本所含的有关参数θ的信息是一样的。 因子分解定理：一个统计量T(x)对参数θ是充分的充要条件是：存在一个t与θ的函数g(t,θ)和一个样本x的函数h(x)，使得对任一样本x和任意θ，样本的联合密度p(x|θ)可表示为它们的乘积，即： p(x|θ)= g(T(x),θ) h(x)因子分解定理：一个统计量T(x)对参数θ是充分的充要条件是：存在一个t与θ的函数g(t,θ)和一个样本x的函数h(x)，使得对任一样本x和任意θ，样本的联合密度p(x|θ)可表示为它们的乘积，即： p(x|θ)= g(T(x),θ) h(x)定理表明：假如存在充分统计量T(x)，则样本分布p(x|θ)一定可以分解为两个因子的乘积：一个是与θ无关，仅与样本x有关；另一个是可以与θ有关，但与样本x的关系仅仅通过充分统计量T(x)表现出来。2、贝叶斯统计中充分统计量的有关结论及应用2、贝叶斯统计中充分统计量的有关结论及应用 贝叶斯统计中充分统计量与经典统计中充分统计量的概念是一致的。 定理1.1 设 是来自密度函数p(x|θ)的一个样本，T=T(x)是统计量，它的密度函数为p(t|θ),又设H={π(θ)}是θ的某个先验分布族，则T(x)为θ的充分统计量的充要条件是对任一先验分布π(θ)∈H，有： π(θ| T(x))= π(θ| x) 即用样本分布p(x|θ)算得的后验分布与用统计量T(x)算得的后验分布是相同的。例8、 验证定理1.1及其含义例8、 验证定理1.1及其含义nullnullnull 关于定理1.1的两点说明： 1、定理1.1所给出的条件是充分必要的，所以定理1.1的充要条件可以作为充分统计量的贝叶斯定义。 2、假如已知统计量T(x)是充分的，那么按定理1.1，其后验分布可用该统计量的分布算得，由于充分统计量可以可简化数据、降低维数，故定理1.1亦可用来简化后验分布的计算。null补充内容：指数分布族及其先验分布(1)单参数指数分布族的定义设总体X或X|θ的分布密度 为：其中 为一般的函数记号则称 属于指数分布族。null Be(α,β)中α,β一个已知，一个未知时都属于指数分布族。因此，指数分布族是一类非常广泛的分布族。显然， 当 已知， 未知时，也是单参数 的指数分布族。又如，泊松分布也属于指数分布族，因为：另外，二项分布也属于指数分布族，因为：类似的还有gamma分布，beta分布。null(2)指数分布族中的参数θ的共轭先验密度若X|θ的分布属于指数分布族：故似然函数 (其中 为i.i.d.的样本)为则共轭先验密度 为：即指数分布族的共轭族 为：null(3)两参数指数分布族及其共轭先验族则称X的分布属于两参数指数族。若 为i.i.d.的样本，X的分布为两参数的 指数分布族，则似然函数 可写为：共轭先验族 为以下形式：null(4)两参数 的后验及先验的一种求法设 为已知i.i.d.的样本x的关于 的后验，X的模型为 ， 皆未知，则：相应的，也有类似的先验公式，设 为 的 先验密度，则：