贝叶斯 经典统计学与贝叶斯统计学的比较

1 经典统计学与经典统计学与经典统计学与经典统计学与 Bayes统计的一点比较统计的一点比较统计的一点比较统计的一点比较 曹正 最近初步接触了在与经典统计的争论中逐渐发展起来的贝叶斯统计。贝叶斯派不同于频 率派的地方在于他们愿意作出不是基于数据的假定，也就是说他们的观点来自何处并没有严 格的限定。我觉得 Bayes 统计的思想非常有意思，根据课堂上老师的指导，我清楚了 Bayes 的基本观点：1.认为未知参数是一个随机变量，而非常量。2.在得到样本以前，用一个先验分 布来刻画关于未知参数的信息。3. Bayes 的是用数据，也就是样本，来调整先验分布，得 到一个后验分布。4.任何统计问题都应由后验分布出发。为了更好的理解两种统计思想，我查 阅了一些参考文献，整理出以下一些结论： 经典统计的观点 Bayes 的观点 概率的概念是频率的概念。 概率的概念是主观的概念，反映了在唯 一给定的状况下的相信。 不能把 Bayes 定理看成推断的手段，除 非包含先验概率在内的概率有频率解释。 Bayes 定理是所有统计推断的关键，因为 这允许由先验分布计算后验分布。 用于推断过程的数据是样本数据，排除 经常很难量化的先验知识。 Bayes 利用所有能用的知识。先验知 识是量化了的并通过先验分布来使用；而观 测数据是通过似然函数进入的；涉及决策后 果的信息是在选择损失函数中使用的。 主要问题涉及：点估计，区间估计，假 设检验。概念的中心是参数，它是一个固定 的，未知的常数，是估计和检验的目标。 主要的问题是同样的，但强调的是所有 有关问题的决策。 方法是基于作为观测值函数的统计量， 但是由于抽样原则上是同等可重复的，而统 计量随不同的样本而变,所以被看成随机变 量。统计量的抽样分布是很根本的。 后验分布代替统计量和抽样分布，起了 决定作用。 对于方法的评估有一系列的准则。只要 可能，就能找到最优方法。相合性，无偏性， 有效性等等。 没有明显的评价方法的准则，通过后验 分布，分析有一个固定的模式。 以往，经典统计方法占据着统计学的主导地位，但是，贝叶斯方法正在国外迅速发展并得 到日益广泛的应用，可以说“二十一世纪的统计学是贝叶斯的时代”。 假设检验问题是统计学的一类重要问题，以下我们从这个角度对两大学派的假设检验思想 进行一些比较，以揭示两种思想的区别与联系，并着重探讨贝叶斯方法的优势。 在经典统计中处理假设检验问题，用的是反证的思想进行推断，即：在认定一次实验中小 概率事件不会出现的前提下，若观察到的事件是 0H 为真时的小概率事件，则拒绝 0H 。具体的 步骤是：1.建立原假设 10 Θ∈H vs 备择假设 21 Θ∈H ；2.选择检验统计量 )(xTT = ，使其在 原假设 0H 为真时概率分布是已知的，这在经典方法中是最困难的一步。3.对给定的显著水平α ， 确定拒绝域，使犯第一类错误的概率不超过α 。4.当样本观测值落入拒绝域 W 时，就拒绝原假 设 0H ，接受备择假设 1H ；否则就保留原假设。 2 而在 Bayes 统计中，处理假设检验问题是直截了当的，依据后验概率的大小进行推断。在 获得后验分布 )|( xθpi 后，即可计算两个假设 0H 和 1H 的后验概率 0α 和 1α ，然后比较两者的 大小，当后验概率比（或称后验机会比） 0α / 1α 1> 时接受 0H ；当 0α / 1α 1< 时，接受 1H ；当 0α / 1α 1≈ 时，不宜做判断，还需进一步抽样或者进一步搜集先验信息。很明显，它选择了后验 概率较大的假设。 由上叙述，我们可以看到两种思想的联系与分歧：在经典统计学中，参数被看作未知常数， 不存在 0H 和 1H 的概率，给出的是 0|( HxP 真)，其中 x 代表样本信息。在贝叶斯方法中，参 数被看成随机变量，在参数空间内直接讨论样本 x 下 0H 和 1H 的后验概率，给出的是 0(HP 真 )| x 和 0(HP 不真 )| x 。 下面我们通过一个例子对两种假设检验思想进行一些比较。 例：以随机变量θ 代表某人群中个体的智商真值， iθ 为第 i 个个体的智商真值，随机变量 iX 代表第 i 个个体的智商测验得分，若该人群的期望智商为µ ，则第 i 个个体在一次智商测 验中的得分可以表示为： ijiijiij eeeX ++=+= µθ ，其中 ie 为第 i 个个体的自然变异， ije 为 第 i 个个体第 j 次测量的测量误差。根据以往积累的资料，已知在某年龄的儿童的智商真值 )225,100(~ Nθ ，个体智商测验得分 )100,(~ *θNX 。现在一名该年龄的儿童智商测验得 分为 115，问：(1)该儿童智商真值是否高于同龄儿童的平均水平?(2)若取 *θ 在 ),( ba 为正常， 问该儿童智商是否属于正常? Ⅰ. 用经典统计方法解答 对第一问，建立检验问题： 0H ： 100* ≤θ vs 1H ： 100* >θ ，按照经典统计学方法， 若取 05.0=α ，则拒绝域为 * 1{ : 100 } { : 116.45}x x u x xασ −≥ + = ≥ 。尚不能认为该儿童智商 高于平均水平。 对第二问，经典方法需要进行两次分别针对 a、b 的单侧检验。过程与第一问相似，这里 不再叙述。 Ⅱ. 用贝叶斯方法解答 在贝叶斯学派中，当 iθ 未知时，将其看作随机变量，与θ 具有相同的分布，这是贝叶斯 学派与经典学派的一个重大区别。 3 根据贝叶斯理论，θ 的先验分布是 (100, 225)N ，测验结果 *~ ( ,100)X N θ ，儿童智商 的后验分布为正态分布 (110.38,69.23)N （具体计算过程请参见参考茆老师的《贝叶斯统计》 P14-15）。 对第一问，同样设 0H ： 100* ≤θ 1H ： 100* >θ ，查正态分布表可以得到： )115|100:( *0 =≤ xHP θ =0.106， )115|100:( *1 => xHP θ =0.894。 根据风险最小原则 拒绝 0H ，接受 1H 。 对第二问，设 0H ：a＜ *θ ＜b 1H ： *θ ＜a 或 *θ ＞b，查正态分布表可以分别得到 }115|:{ *0 =<< xbaHP θ 和 }115|b:{ **1 =>< xaHP θθ 或 ，类似第一问，依据风险 最小原则做出推断。 按 Bayes 的观点，多重假设检验的情形并不比两个假设的检验更困难，因为它只需要多 算几个后验概率即可；它同时利用了样本和 θ的先验信息，且由于导出了样本 x 下的后验分 布，可以对风险给出正面的回答，因而较经典方法下的间接判断更直观。 事实上，两个学派的方法在一定程度上统一于贝叶斯公式。因此，当 )()( 10 HPHP = ， 即 0H 与 1H 居于平等地位时，经典学派与贝叶斯学派的结果是一致的。对于正态分布前提下 的单侧检验： 0:),1,(~ 0 ≤θθ HNX ,0:1 >θH 经典方法得到的 P 值与贝叶斯方法在无信 息先验分布下的后验概率相等，此结论可以推广到正态分布前提下其他类似的单侧检验，如 上例。 而对于形如 0:,0: 1 >= θθ HH o ，(或 0:1 <θH )的单侧检验，情况则不同，与下述的 双侧检验有类似结果。即对形如 0:,0: 1 ≠= θθ HH o 的双侧检验，经典方法得到的 P 值与 贝叶斯方法的后验概率大不相同。在 Berger 和 Sellke 1987 年对正态分布前提下二者的比较研 究中，当经典方法得到的 P 在 0.01～0.1 之间时，贝叶斯方法得到 0H 为真的后验概率大于 P， 因而此时拒绝 0H 所承担的实际风险大于 P，而这个区间对于经典方法下结论是非常重要的。 Hwang 和 Pematle 1994 年提出，对这类双侧检验，类似结果始终存在，因而 P 值应该由其他 判断来替代。但他们还没有找到这种标准。值得注意的是，经典的犯第一，二类错误的 概率通常都不与相应的假设后的概率近似，这也许是经典派实际工作者愿意用 P 值代替犯第 一，二类错误的原因吧。 在这里我只对一个简单的单侧假设检验的例子作了一点展开，而实际中的 Bayes 检验问 题包括单侧检验，原假设为简单假设的检验和多重假设检验。我们可以参考的文献有很多， 在 James O.Berger 的《统计决策论及贝叶斯分析》中有着很全面和详细的叙述。 4 假设检验是 Bayes 分析中的一个问题，Bayes 分析在运算上有不少优点，在这里要提的相 关的一点是，由它得出的未知参数的最终分布（后验分布），由此可以同时解决大量的问题， 这比经典统计学要方便容易得多。 贝叶斯方法在先验信息的利用、风险的回答、损失的考虑以及多重假设问题的处理等方 面较经典方法具有明显的优势。贝叶斯学派的理论已经成为决策论的一个基本工具，在社会 学、经济学等领域发挥着重要作用，正逐步受到重视更多领域的重视。 参考文献： � James O.Berger 著.贾乃光译《统计决策论及贝叶斯分析》中国统计出版社，1998 版 � 吴喜之著 中国人民大学《现代贝叶斯统计学》中国统计出版社 2000 版 � 茆诗松 编著《贝叶斯统计》1999 版 一句话评论：对例中的第二问，经典方法应考虑双边假设检验方法，可参见茆诗松等著 《高等数理统计》。