学习范式

半监督学习(semi-supervised learning)

/ SEM-eye-soo-per-VIZED LER-ning /

假设老师在黑板上把十道题连同完整解答从头讲了一遍,然后递给你厚厚一摞还没做的题去琢磨。那几道讲透的例题给你定了锚,而那一大堆空白则让你练手、磨直觉。半监督学习正是这种搭配:一小堆带标签的例子,加上一大堆没标签的例子,放在一起学。

这背后的考量很务实。给数据贴标签——医生标出肿瘤、有人逐字转写语音——既慢又费钱,所以你手头通常只有那么一点点。可无标签的数据却便宜又充裕。半监督方法先用那少量标签对任务有个粗略概念,再借助无标签那一大片的结构把答案夯实。一个常见的招数叫「伪标签」:模型自己给那些容易的无标签样本打上标签,把它有把握的猜测当成真标签来用,接着继续训练。

顺利时,你能以一小部分标注代价,换来接近全标注训练的准确度。但它依赖一个假设——无标签数据确实和标签所暗示的结构一致(相似的东西会聚成一团,决策边界落在稀疏地带)。一旦这个假设不成立,或者模型信心满满地把自己的错误也打成了伪标签,半监督学习就可能不声不响地越走越差,而非越走越好,因此需要仔细核查。

一个团队有500张由放射科医生标注的胸片,外加5万张未标注的。他们先用那500张训练,让模型给它最有把握的那些未标注片子打上伪标签,把它们并进来,再重新训练。最终结果逼近用5万张人工标注片子所能达到的水平——而所耗的医生时间不过其中极小一部分。

少量真标签领路,大量无标签样本加固。

伪标签可能反咬一口:若模型自信地错着,它就会把自己的错误教给自己,错上加错。只有当无标签数据确实与标签结构相符时,半监督学习才真正有用。

又称
semi-supervision半监督学习半監督學習