統計、資料與建模

適合度檢定(卡方、Kolmogorov-Smirnov)

/ GOOD-ness uv fit; KY-square; kol-MOG-or-off SMEER-noff /

你已經把一條整齊的數學曲線——比如一個鐘形或一段指數衰減——擬合到雜亂的真實資料上。接下來自然要問:這條曲線真的擬合得好嗎,還是在自欺欺人?適合度檢定回答的正是這個問題。它們把你所選分佈的預測與資料實際的表現作對比,衡量兩者分歧得有多嚴重,從而把「盯著直方圖看」變成一個帶 p 值的數字。

卡方檢定用於分組資料:把觀測值分箱,將每個箱內的觀察計數與擬合模型期望的計數作比較,再把按期望計數縮放後的平方差累加起來。若總和很大,擬合就差。Kolmogorov-Smirnov(KS)檢定則作用於累積曲線:它找出資料的階梯狀累積分佈函數與擬合出的光滑累積分佈函數之間最大的那一處垂直間隙,並追問這麼大的間隙憑偶然出現是否合理。粗略地說,卡方問的是「各箱頻率是否對得上?」,而 KS 問的是「整體形狀是否吻合,尤其是在主體部分?」。兩者各自通過自己的參照分佈換算成 p 值。

對精算師而言,這些檢定是擬合損失嚴重度與理賠頻率分佈時的標準守門人:在信賴一個擬合出的帕累托分佈或對數常態分佈去設定準備金或再保險層之前,你要先檢查它是否真的描述了資料。誠實的提醒很重要:小樣本下這些檢定功效弱,幾乎拒絕不了任何東西;大樣本下它們又幾乎拒絕每一個模型,因為沒有哪條整齊的曲線能完美吻合現實。KS 檢定在尾部出了名地不敏感——而那恰恰是重尾保險損失最要緊之處——所以精算師會用聚焦尾部的診斷來補充它,而不是只信任單一的 p 值。

精算師為每張保單的理賠次數擬合一個卜瓦松分佈。卡方檢定把出現 0、1、2……次理賠的保單的觀察數目,與卜瓦松分佈預測的數目作比較;若 p 值很小,便意味著卜瓦松不是合適的頻率模型。

卡方檢定,把觀察到的各箱計數與擬合模型期望的計數對決。

未能拒絕並不能證明模型正確,而資料足夠多時每個模型都會被拒絕。尤其是 KS 檢定在尾部很弱,而那正是保險損失最傷人之處。

又稱
chi-square testKS test卡方检验K-S 檢定