シンプルな非線形分類器を作りました

前回はSimple Classifierを作りました．今回はこれを非線形な分類器に拡張したいと思います．と言っても，よく使われている方法を使うだけなのですが．

学習データ$\{(\mathbf{x}^{(i)}, y^{(i)})\}_{i=1}^n$が与えられているとします．ただし，$\mathbf{x}^{(i)} \in \mathbb{R}^d, y^{(i)} \in \{-1, 1\}$とします．入力の変換$\phi: \mathbb{R}^d \rightarrow \mathbb{R}^b$を以下で定義します．

$$\phi_j(\mathbf{x}) = \exp\left(- \frac{\|\mathbf{x} - \mathbf{z}^{(j)}\|^2}{2\sigma^2}\right)$$

ここで，$\mathbf{z}^{(j)}$は$\{\mathbf{x}^{(i)}\}_{i=1}^n$から適当に$b$個選ぶことにします．あとは，これにSimple Classifierを適用します．このやり方はよくやられていて，scikit-learnにも実装があります→RBFSampler．

Grid Searchで$\sigma$を選んで，toy dataに対して適用してみました．結果は以下のようになりました．

うまく非線形な決定境界を得られていると思います．また今度になりますが，有名な分類器とのパフォーマンス比較もやりたいと思います．ソースコードはGithubに置いてます↓．

simple-classifier

Written with StackEdit.