一張真實的辦公桌,一個真實的兩難
你正在為一家麵包房定勞工補償險的價。在你那本涵蓋數千家雇主的整體業務裡,平均損失大約是每名員工每年 1,000 美元——這個數字你信得過,因為它建立在一大堆資料之上。可這家麵包房跟著你才三年,只僱了寥寥數人,而在這三年裡,它自己的損失平均下來只有每名員工 400 美元。那麼明年的價該倚重哪一邊:麵包房自己那令人愉快的 400 美元,還是整本業務那冷靜的 1,000 美元?這一個問題,就是本階的全部內容,它有一個名字——信度問題。
有兩種本能在誘惑你,而兩者都錯。第一種說:「這是*他們*的資料,就照他們自己的 400 美元收。」可是寥寥數人的三年實在太薄了——回想估計那幾篇所講的,一個估計本身就是一個隨機變數,而小樣本會讓它劇烈地跳動。要是抽籤時運氣稍差一點,那 400 美元很容易就變成 1,300 美元。第二種本能說:「別理他們,所有人都照整本業務的 1,000 美元收。」可這就扔掉了一個貨真價實的信號——也許這家麵包房當真就比平均水準更安全,而假裝不是這樣,既不公平,又等於悄悄地請它那些經營得更好的同行另尋他家。
拒絕那個虛假的選擇:去摻
從那兩種糟糕本能裡脫身的辦法簡單得幾乎讓人不好意思,可它偏偏是精算師所擁有的最優美的念頭之一。別選。去摻。 把這個群體自己那個數字,和那條更寬泛的平均線,取一個加權平均,再讓一個權重——叫它 Z,一個介於 0 和 1 之間的數——來決定信任該如何分配。這就是信度加權估計,它的樣子值得記牢,因為本階裡每一個模型,都不過是配出 Z 的一種不同方子。
Estimate = Z * (your own data) + (1 - Z) * (the prior/book average) Bakery example, book = 1000, own data = 400: Z = 0 -> 0*400 + 1*1000 = 1000 (ignore the bakery entirely) Z = 1 -> 1*400 + 0*1000 = 400 (trust the bakery entirely) Z = 0.25 -> 0.25*400 + 0.75*1000 = 850 (a little credit, mostly the book) Z = 0.75 -> 0.75*400 + 0.25*1000 = 550 (mostly the bakery)
請留意這一摻為你買到了什麼。當 Z = 0.25 時,麵包房繳 850 美元——低於整本業務的 1,000 美元,於是它那三個好年頭得到了獎賞,卻又遠沒有低到那個魯莽的 400 美元,因為那個數字未必經得起一段幸運期消退後的考驗。這個估計被拉向整本業務的平均值,也就是被「收縮」了;而群體自己的資料越小、越嘈雜,它就被拉得越狠。這種拉扯不是含糊其辭,也不是騎牆對沖;我們將會看到,它恰恰是統計上最優的做法,是你在還不知道那 400 美元究竟是本事還是運氣時,理性地付出的代價。整個信度加權估計,就是這樣一種有紀律的、部分信任的行為。
那麼 Z 該取決於什麼?
如今一切有意思的東西都住在 Z 裡頭,而在任何公式登場之前,你的直覺就已經能列出它該對什麼作出反應了。有三股壓力,把 Z 往上推向 1(信群體)、或往下推向 0(信整本業務)。把每一股都好好體會一遍——等下幾篇裡公式來了,它們無非就是把這些本能給精確化罷了。
- 這個群體有多少資料?暴露量越大——更多員工、更多年頭、更多理賠——意味著群體自己的平均值是個更鋒利、更不愛跳的估計,於是 Z 該往 1 升。一家觀察了三十年的麵包房,理應比觀察了三年的得到多得多的信任。這正是大數定律幹著它一貫幹的事:對更多獨立觀測取平均,結果就會安定下來。
- 單次觀測有多嘈雜?如果這一類業務的損失年復一年地劇烈擺動——許許多多小理賠裡夾著寥寥幾筆巨額理賠——那麼哪怕攢下一段像樣的資料也靠不住,於是 Z 該被壓低。每個資料點越嘈雜,你就得攢得越多,才肯相信那個平均值。這跟估計那一階裡掌管標準誤的、那種「按樣本量平方根」而來的謙卑,是同一回事。
- 各群體彼此之間有多不同?如果你這本業務裡每一家麵包房當真都一個樣,那麼這一家滑到 400 美元,幾乎肯定只是雜訊,你就該死死倚重那個共同的 1,000 美元——Z 接近 0。可如果各家麵包房在底層風險性上確實差得很大,那麼一個偏低的數字,就更可能反映出一種真實、持久、值得據以收費的差異,於是 Z 該上升。整本業務的平均值,其資訊量有多大,全取決於各群體彼此有多相似。
前兩股壓力關乎群體自己的資料——它的數量,與它內在的雜訊。第三股更微妙,正是它把你即將遇見的兩大流派區分開來。最古老的那條路,有限波動信度,只看前兩股:它問的是這個群體需要多少資料,才能讓自己的數字穩到足以倚重,而把第三股壓力完全撇在一邊。隨後那條更深的路,Bühlmann 信度,則把三股壓力一併編織進一個有原則的 Z 裡。這條從一條實用的經驗法則,走到一套能解釋「為什麼」的理論的進程,正是貫穿整階的那道弧線。
那個「先驗」到底是什麼
公式裡有一個詞值得仔細對待:那個 (1 − Z) 的權重,騎在先驗之上——也就是在你看這個群體自己的資料*之前*,你對它所持的信念。在我們的麵包房例子裡,它是那個全業務範圍的 1,000 美元;但所謂先驗,是指假如你對這家特定麵包房一無所知、只知道它是一家麵包房,你會誠實地收多少。它可能是專指所有麵包房的平均,或所有餐飲服務類雇主的平均,又或是整本業務的總平均。挑對那個用來比較的群體,是一樁實打實的判斷,而非天上掉下來的現成答案;一個馬虎的先驗,會悄無聲息地毒害每一個摻出來的答案。
這一摻裡頭還藏著一種優雅的對稱。當你完全信任群體(Z = 1)時,先驗消失,你做的就是純粹的經驗費率。當你完全不信它(Z = 0)時,你自己的資料消失,你做的就是依據先驗的純粹手冊費率。每一個真實的答案,都落在這兩個極端之間的連續譜上——信度理論與其說是發明了一種新的估計,不如說是畫出了那條誠實地連接兩種舊估計的線,並告訴你:你的資料,掙到了站在這條線上哪個位置的資格。
誠實的邊界,以及接下來的路
也要提防兩種常見的誤讀。Z 不是「這個群體的數字是對的」的機率——它是一個權重,一個最優的混合比例,僅此而已。而一個偏低的 Z,也不是懲罰,更不是「這家麵包房暗地裡很危險」的判決;它無非是在承認:三年,還無法蓋過數千家僱主所累積的證據。只要用得誠實,信度便是少有的那種「天生就公平」的工具:它給一個群體在自家價格上的話語權,恰好等於它的資料所掙到的那麼多,不多,也不少。
如今你可以把整階濃縮成一句話:答案就是 Z 乘以你的資料,加上 (1 − Z) 乘以先驗,而剩下唯一的手藝,是把 Z 選好。下一篇會做出第一次認真的嘗試——有限波動信度,它問的是那個直白得讓人卸下防備的問題:「多少資料才*足以*被完全採信?」並圍繞它搭起那條著名的平方根法則。再往後,Bühlmann 的 Z 會給出那個深刻而最優的答案,悄悄地把其餘幾種都當作特例收納進去。這一路都把那家麵包房記在心裡;前方每一個公式,都不過是為了把它的價格定得公平,而打磨出的一件更鋒利的工具。