在計算 $\beta$ 的 MLE 時，會希望最小化 loss function ，但為了避免資料 overfitting ，會把 loss function 加入懲罰項，使用 Lagrange Multiplier 找到最佳解。常見的有 Lasso regression, Ridge regression, Elastic net regression等。
補: 微分的beta跌袋證明、各自適合的情況
Lasso Regression $$\begin{align*}
\min_{\mathbb{\beta}} \left( loss+\lambda \sum_{i=1}^n \left| \beta_i \right| \right)
\end{align*}$$Ridge Regression $$\begin{align*}
\min_{\mathbb{\beta}} \left( loss+\lambda \sum_{i=1}^n \beta_i^2 \right)
\end{align*}$$$p$ norm $$\begin{align*}
\left\| \mathbb{x} \right\|_p = \left(\sum_{i=1}^n {\left| x_i \right|}^p \right)^{\frac{1}{p}}
\end{align*}$$Elastic Net Regression $$\begin{align*}
\min_{\mathbb{\beta}} \left( loss+\lambda_1 \sum_{i=1}^n \left| \beta_i \right| + \lambda_2 \sum_{i=1}^n \beta_i^2 \right)
\end{align*}$$參考資料 Allen Tzeng Blog
MaDi’s Blog
Licensed under CC BY-NC-SA 4.0