分類問題で扱う代理損失

入力を$x \in \mathcal{X}$，出力を$y \in \{-1, 1\}$とする．$f(x) \geq 0$のときは正例と，$f(x) < 0$のときは負例と予測する分類器を考える．$m = yf(x)$とすると，$m \geq 0$のとき正解で，$m < 0$のとき，不正解となる．不正解のときは$1$を，正解の時は$0$になるような損失関数を以下のように定義する．

$\begin{aligned} \mathbb{I}\left[m < 0\right] \end{aligned}$

ただし，$\mathbb{I}$は指示関数である．有名な損失関数として，hinge lossや，exponential lossがある．

$\begin{aligned} \ell_{hinge} &= \max\{0, 1 - m\}\\ \ell_{exp} &= \exp \left(- m\right) \end{aligned}$

流れ的には，目的関数を指示関数を使って上のように定義して，代理損失で置き換えるって感じかな．

Written with StackEdit.