ヒンジ損失の劣勾配

ヒンジ損失の劣勾配を求めようと思う．と言っても，[1]のPointwise maximumのテクニックを使えば一発なのだが．まずはこれを示そう．以下の関数を考える．

$\begin{aligned} f(x) = \max_{i=1,\ldots,m} f_i(x) \end{aligned}$

ある$x$に対して，$f(x) = f_k(x)$だったとする．$g \in \partial f_k(x)$とする．

$\begin{aligned} f(y) \geq f_k(y) \geq f_k(x) + g^T (y - x) = f(x) + g^T (y - x) \end{aligned}$

より，$g \in \partial f(x)$である．
以下で定義されるヒンジ損失を考える．

$\begin{aligned} \ell_{hinge}(\bm{w}) = \max\{0, 1 - y \bm{w}^T \bm{x}\} \end{aligned}$

上記の事実を踏まえると，

$\begin{aligned} \bm{g} = \left\{\begin{array}{ll} \bm{0}_d & (1 - y \bm{w}^T \bm{x} \geq 0) \\ -y \bm{x} & (1 - y \bm{w}^T \bm{x} < 0) \end{array}\right. \end{aligned}$

となる．

1. https://see.stanford.edu/materials/lsocoee364b/01-subgradients_notes.pdf

Written with StackEdit.