20190829

20190829

述語なのか,命題なのかを注意して式をみる.

急に収束の速さに興味が湧いたので,関係ありそうなオーダー記法を勉強してみる.

オーダー記法

参考:


Big O

f(x)=O(g(x))(x→∞) \begin{aligned} f(x) = O(g(x)) \quad (x \to \infty) \end{aligned}

十分先でf(x)f(x)はg(x)g(x)の定数倍で抑えられる.
∃c>0;∃x0>0;∀x;x≥x0⇒∣f(x)∣≤c∣g(x)∣\exists c > 0; \exists x_0 > 0; \forall x; x \geq x_0 \Rightarrow |f(x)| \leq c |g(x)|.

f(x)=O(g(x))(x→a) \begin{aligned} f(x) = O(g(x)) \quad (x \to a) \end{aligned}

aaらへんで,f(x)f(x)はg(x)g(x)の定数倍で抑えられる.
∃c>0;∃δ>0;∀x;0<∣x−a∣<δ⇒∣f(x)∣≤c∣g(x)∣\exists c > 0; \exists \delta > 0; \forall x; 0 < |x - a| < \delta \Rightarrow |f(x)| \leq c |g(x)|.

これは,グローバルなx0x_0とccの存在をいっている.


small o

f(x)=o(g(x))(x→∞) \begin{aligned} f(x) = o(g(x)) \quad (x \to \infty) \end{aligned}

Big Oとは違って,ccによって,x0x_0が変わる.

∀c>0;∃x0>0;∀x;x≥x0⇒∣f(x)∣<c∣g(x)∣\forall c > 0; \exists x_0 > 0; \forall x; x \geq x_0 \Rightarrow |f(x)| < c |g(x)|

x→ax \to aの時:

f(x)=o(g(x))(x→a). \begin{aligned} f(x) = o(g(x)) \quad (x \to a). \end{aligned}

∀c>0;∃δ>0;∀x;0<∣x−a∣<δ⇒∣f(x)∣<c∣g(x)∣\forall c > 0; \exists \delta > 0; \forall x; 0 < |x - a| < \delta \Rightarrow |f(x)| < c |g(x)|

式に出てくる場合

f(x)=1+3x+O(x2)(x→0)f(x) = 1 + 3x + O(x^2) \quad (x \to 0)

これをみたとき,

f(x)≤1+3x+cx2f(x) \leq 1 + 3x + c x^2

を考えるのかなと思った.で,これが00らへんで成り立つと.
基本的に,不等式を書き直すためにあると思う.

全然進まなかったけどとりあえずこの辺で.明日もやる.

Written with StackEdit.

20190828

20190828

興味がコロコロ変わって困ってるがこれはこれで楽しい.縛られない勉強.解析学の知識がほとんどないので,本を読んでいても結構辛いことがある.というわけで復習しようと思う.やることが増えた.

  • 解析学
  • 学習理論
  • その他

という感じ.

朝:解析学
昼:仕事
夜:学習理論

という感じで行こうと思う.空いた時間は好きなことを考える時間にする.まああくまでも目標.

土日の昼はテキストマイニングツールの開発に当てる.

とにかく焦らない.じっくり考える.わからないこと,知らないことは別に恥じゃない.

朝数学

測度論少し思い出す.

∏j=1d(aj,bj]\prod_{j=1}^d (a_j, b_j], ∏j=1d[aj,bj]\prod_{j=1}^d [a_j, b_j], ∏j=1d(aj,bj)\prod_{j=1}^d (a_j, b_j)の体積を∏j=1d(bj−aj)\prod_{j=1}^d (b_j - a_j)と定義する.いろんな関数の積分の計算をここに持ってくる.

関数を単関数で近似しても,f−1(B)f^{-1}(B)を計算するのが結構しんどいと思う.この辺はどうするんだろう?多分上の形に持ってくるのではないかと思う.それか普通にリーマン積分に持っていく.


h→ah \to aというのは,
h=a+1/nh = a + 1 / nとして,n→∞n \to \infty(右側),
h=a−1/nh = a - 1 / nとして,n→∞n \to \infty(左側)
のことなのかなと思う.こうすると,{a+1/n}n∈N\left\{a + 1 / n\right\}_{n \in \mathbb{N}}という数列が作れる.

関数の微分を考えてみる.ffのxxにおける微分係数f′(x)f'(x)は,

f′(x)=lim⁡h→0f(x+h)−f(x)h \begin{aligned} f'(x) = \lim_{h \to 0} \frac{f(x + h) - f(x)}{h} \end{aligned}

と定義される.
このままでは意味がわからないので,h=1/nh = 1 / nとしよう.n(f(1+1/n)−f(x))n(f(1 + 1 / n) - f(x))のn→∞n \to \inftyでの極限を考えたいわけだけど,f(1+1/n)f(1 + 1 / n)によっては発散しそう.

例えば,f(x)=xf(x) = x.
n(f(x+1/n)−f(x))=n(x+1/n−x)=1n(f(x + 1 / n) - f(x))= n (x + 1 / n - x) = 1
だから,f′(x)=1f'(x) = 1なんだろうか.

次に,f(x)=x2f(x) = x^2.
n(f(x+1/n)−f(x))=2x+1/nn(f(x + 1 / n) - f(x)) = 2 x + 1 / n
だから,f′(x)=2xf'(x) = 2xなんだろうか.

でも1/n1 / nじゃなくても,1/2n1 / 2^nとかでもいいよなあ.なんかこの辺に違和感がある.


関数の極限を考えてみよう.

任意のϵ>0\epsilon > 0に対して,あるδ>0\delta > 0が存在して,0<∣x−a∣<δ⇒∣f(x)−l∣<ϵ0 < |x - a| < \delta \Rightarrow |f(x) - l| < \epsilonが成り立つとき,lim⁡x→af(x)=l\lim_{x \to a} f(x) = lと書くんだ.l=f(a)l = f(a)のとき,ffは連続というんだ.

これの肝は,xxはaaに近いところから取ってくればいいんだけど,aaにはなれないということ.もしl=f(a)l = f(a)なら,aaになれないのに,f(a)f(a)にいくらでも近づけることができるという不思議なことが起こる.

個人的には,これよりも上に書いたように数列に変換してしまうのが好き.そこで,スモールオー,ビッグオーというのを思い出した.


ランダウの記号(スモールオー)

参考:

f(x)h(x)→0(x→a)\frac{f(x)}{h(x)} \to 0 \quad (x \to a)なら,

  • ffがhhよりも速く0に収束する
  • hhがffよりも速く∞\inftyに発散する

のどちらかだ.この場合,f(x)=o(h(x))f(x) = o(h(x))と書く.どちらの意味で捉えてもいい.

ffが発散しても,それよりも速く発散するhhを分母に持ってくれば,何かしらの極限が存在することになる気がする.逆にhhが00に収束しても,それよりも速く00に収束するffを分母に持ってくれば何かしらの極限が存在することになる.個人的には発散すると捉える方がしっくりくる.

xnx^{n}よりもxn+1x^{n+1}の方が速く発散する.なので,xn=o(xn+1)(x→∞)x^{n} = o(x^{n+1}) \quad (x \to \infty).

なんか不等式も同じような感じがする.
また戻ってこれなさそうなので,この辺でやめとこ.


上で1n\frac{1}{n}でも12n\frac{1}{2^n}でも0に収束するなら,それ以外でもいいと書いたけど,違いは収束の速さな気がする.


考えたいけど,眠いから寝よう...

Written with StackEdit.

機械学習の問題設定

機械学習の問題設定 機械学習の問題設定を見直したのでメモ. ( Ω , F , P ) (\Omega, \mathcal{F}, P) ( Ω , F , P ) : ベースとなる確率空間 ( X , F X ) (\mathcal...