最小二乘法中通过最小化残差的平方和来获得待定系数的估计。定义第i个数据点的残差为测量响应值yi和拟合响应值\({\hat{y}}_{i}\)的差值，即
\[{r}_{i}={y}_{i}-{\hat{y}}_{i}\]
残差的平方和用下式给定
\[S=\sum_{i=1}^{n} {{r}_{i}^{2}}=\sum_{i=1}^{n} {({y}_{i}-{\hat{y}}_{i}{)}^{2}}\]
其中，n为参与拟合的数据点的个数，S为误差估计的平方和。
常见的最小二乘法包括线性最小二乘法、加权线性最小二乘法、稳健最小二乘法和非线性最小二乘法等。求解非线性最小二乘问题的Gauss-Newton法和Levenberg-Marquart法是老牌算法。