学习范式

弱监督(weak supervision)

/ WEEK soo-per-VIZH-un /

把一百万个例子一个一个手工标注,又慢又贵。但你常常能写出一些又快又糙的规则,把其中大多数判对:「如果一封邮件含有『紧急电汇』这个说法,它八成是诈骗。」规则并不完美,却便宜,而且你能瞬间把它套到所有数据上。弱监督,就是用便宜而带噪声的标签——而非稀缺而完美的标签——来训练模型的做法。

弱标签有好几种样子:规则与启发式(「含『发票』一词 → 财务」)、拿现成数据库充当「真值」的替身、不够精确的标签(我们知道照片里某处有只猫,却不知在哪)、或来自非专家或别的模型的标签。每个来源单看都不可靠。关键的点子,是把许多弱的、彼此重叠、相互矛盾的来源做统计上的合并——为每个来源该信几分、它们之间如何相关建立模型——从而产出一批概率性的「最佳猜测」标签,好得足以用来训练一个真正的模型。

它是务实的、以数据为中心的机器学习的一根顶梁柱,因为它让一支小团队能在几个钟头、而非几个月里标完庞大的数据集,也让领域专家能以规则的形式注入知识,而不必没完没了地手工打标。坦白说说它的边界:这些标签确实带噪声,所以你规则里的盲点和系统性错误,会被一并烤进模型里。弱监督在许多独立来源能彼此纠错时效果最好;一旦它们都带着同一种偏见,模型就会原封不动地继承下来。

为了不靠手工标注就造出一个垃圾邮件过滤器,团队写了十几条粗糙的规则——指向已知恶意域名的链接、全大写的主题行、某些特定说法。每条规则都时不时出错,彼此也不一致。一个弱监督模型给它们加权、合并,为一百万封邮件产出概率性的标签,而用这些标签训练出来的分类器,足以与靠昂贵的手工标签造出来的相媲美。

许多便宜又不完美的规则,合并成可用的标签。

弱监督是用标签质量换标签数量。当许多独立来源能彼此纠错时它最出彩——可一旦它们共享同一个盲点,模型就会原封不动地继承那个错误。

又称
weakly supervised learning弱监督弱監督弱监督学习