统计、数据与建模

拟合优度检验(卡方、Kolmogorov-Smirnov)

/ GOOD-ness uv fit; KY-square; kol-MOG-or-off SMEER-noff /

你已经把一条整齐的数学曲线——比如一个钟形或一段指数衰减——拟合到杂乱的真实数据上。接下来自然要问:这条曲线真的拟合得好吗,还是在自欺欺人?拟合优度检验回答的正是这个问题。它们把你所选分布的预测与数据实际的表现作对比,衡量两者分歧得有多严重,从而把“盯着直方图看”变成一个带 p 值的数字。

卡方检验用于分组数据:把观测值分箱,将每个箱内的观察计数与拟合模型期望的计数作比较,再把按期望计数缩放后的平方差累加起来。若总和很大,拟合就差。Kolmogorov-Smirnov(KS)检验则作用于累积曲线:它找出数据的阶梯状累积分布函数与拟合出的光滑累积分布函数之间最大的那一处垂直间隙,并追问这么大的间隙凭偶然出现是否合理。粗略地说,卡方问的是“各箱频率是否对得上?”,而 KS 问的是“整体形状是否吻合,尤其是在主体部分?”。两者各自通过自己的参照分布换算成 p 值。

对精算师而言,这些检验是拟合损失严重度与理赔频率分布时的标准守门人:在信赖一个拟合出的帕累托分布或对数正态分布去设定准备金或再保险层之前,你要先检查它是否真的描述了数据。诚实的提醒很重要:小样本下这些检验功效弱,几乎拒绝不了任何东西;大样本下它们又几乎拒绝每一个模型,因为没有哪条整齐的曲线能完美吻合现实。KS 检验在尾部出了名地不敏感——而那恰恰是重尾保险损失最要紧之处——所以精算师会用聚焦尾部的诊断来补充它,而不是只信任单一的 p 值。

精算师为每张保单的理赔次数拟合一个泊松分布。卡方检验把出现 0、1、2……次理赔的保单的观察数目,与泊松分布预测的数目作比较;若 p 值很小,便意味着泊松不是合适的频率模型。

卡方检验,把观察到的各箱计数与拟合模型期望的计数对决。

未能拒绝并不能证明模型正确,而数据足够多时每个模型都会被拒绝。尤其是 KS 检验在尾部很弱,而那正是保险损失最伤人之处。

又称
chi-square testKS test卡方检验K-S 檢定