机器学习

参数(parameter)

/ puh-RAM-uh-tur /

参数,是模型在学习时不断调整的内部数字之一——它要拧的一个旋钮。想象一台调音台:每根推杆控制声音的一部分,你把它们上下推动,直到混音听起来对味。模型的参数,正是这些推杆,只不过它们可能成千上万、数以百万计,在今天的大语言模型里甚至上千亿,而且机器是在训练中自动设定它们,不是靠耳朵去调。

具体来说,参数就是填满模型所选形式的那些数字。在直线 价格 = a × 面积 + b 中,斜率 a 和截距 b 就是它的两个参数。训练,无非就是去搜寻那样一组参数取值,使模型的答案尽可能贴近已知答案——把每根推杆一点一点地拧动,好让错误变小。训练一停,参数就冻结下来,而这一套冻结的数字,本质上就是训练好的模型。

参数越多,模型能捕捉的模式就越精细——但这并非免费。相对于数据量参数过多的模型,可能把训练例子背下来,而不是学到真正的规律(过拟合),运行起来也更耗内存和算力。你听说的那些巨型模型动辄多少亿参数,只是对「容量」的粗略代称,并不保证质量:一个更小、训练扎实的模型,常常胜过一个臃肿、却喂着劣质数据的模型。

一个有 3 个输入、1 个输出的小网络可能只有 4 个参数:三个权重(每个输入一个)加一个偏置。GPT 一类的模型则有上千亿。两种情形里,「训练」都意味着:去搜寻那组让预测错得最少的参数取值。

参数就是训练所要拧的旋钮——从寥寥几个到上千亿不等。

别把参数和超参数搞混。参数是训练过程从数据中学出来的;超参数则是你在训练开始前手动设定的旋钮(比如学习速度有多快,或者把模型造多大)。

又称
weightlearned parameter参数參數权重model weights