残差与诊断
/ ree-ZID-yoo-uls /
拟合完一个模型之后,自然要问的不是“数学跑得通吗?”,而是“这个模型真的描述了我的数据,还是在某个角落里骗我?”残差正是用来查明这件事的工具。残差不过是“剩下的东西”:实际发生的与模型预测的之间的差距。如果模型好,这些残余就应当看起来像毫无特征的随机噪声。如果它们显出某种规律,模型就漏掉了什么,而那规律本身正指向漏掉的是什么。
对每个数据点,残差 = 观察值 减 拟合值。诊断就是对这些残差的系统性研究。你把残差对拟合值、以及对每个预测变量作图,寻找麻烦:弯曲的带状意味着关系其实并非线性;越张越开的扇形意味着散布并不恒定(异方差);少数远离其余的点是离群值,可能在拽歪整个拟合。对 GLM 而言,原始残差被偏差残差或皮尔逊残差所取代,以照顾非正态的分布,但精神完全一致——没有规律的残差意味着可信赖的模型。正态分位图则检查残差是否服从所假定的形状。
对精算师而言,这是在模型被用于设定准备金或费率之前不可或缺的现实检验。一个 GLM 可以给出看上去自信满满的系数,而它的残差却在暗暗尖叫:漏掉了一个重要变量、忽略了某个交互作用,或所选的分布是错的。职业上的克制是:绝不单凭拟合统计量下结论——高 R 平方配上有规律的残差,是一个陷阱。诊断也是你抓出数据问题之处——编码错误、少数几笔巨灾理赔扭曲了全局——这些是任何概括性数字都无法揭示的。诚实的提醒是:诊断标示的是症状,而非药方;把它们读懂是一门手艺,而非一张清单。
精算师把一个定价 GLM 的残差对司机年龄作图,看到一个清晰的 U 形——在年轻与年老两端都偏高。这一规律揭示出:模型把年龄当作直线处理,而真实效应是弯曲的,于是促使加入年龄平方项或年龄分段。
残差中的规律,是模型在告诉你它漏掉了什么。
高 R 平方或低误差并不能为模型担保;有结构的残差可以躲在漂亮的概括性数字背后。永远要看残差本身,而不只是拟合统计量。