回帰で扱う代理損失

入力を$x \in \mathcal{X}$，出力を$y \in \mathbb{R}$とする．分類問題と違って，$m$の定義の仕方に工夫が必要．例えば以下のように$m$を定義する．

$\begin{aligned} m = \epsilon - |y - f(x)| \end{aligned}$

ただし，$\epsilon \geq 0$．そうすると，

$\begin{aligned} \mathbb{I}\left[m < 0\right] \end{aligned}$

で不正解となる．分類問題と同じ代理損失が使える．

$\begin{aligned} \max\{0, 1 - \epsilon + |y - f(x)|\} \end{aligned}$

これは，$\epsilon$-insensitive lossと呼ばれる．

Written with StackEdit.