【機械学習】【数学】常用定義メモ（線形代数、確率論、統計学）

新しい知識をたくさん学び続けていると、すぐに習得できる内容もあれば、すぐに忘れてしまうこともあります。そこで、メモを作成して、素早く確認できるようにします。

【2017.6.14
記録開始】--------------------------------------------------------------------------------------------------------------------------------------------------------------

期待値（数学的期待値）：#

平均値。試行における各結果の確率とその結果の総和の積。

標準偏差（均方根偏差）：#

平均値との差の平方和の平方根で、σ で表されます。標準偏差は分散の算術平方根です。標準偏差はデータセットの散らばり具合を反映します。平均が同じ 2 つのデータセットでも、標準偏差は必ずしも同じではありません。

分散：#

データの散らばり具合を示し、変数と期待値の散らばり具合です。標準偏差の平方です。

共分散：#

2 つの変数の全体的な誤差を測定するために使用されます。分散は共分散の特別な場合であり、2 つの変数が同じ場合です。期待値がそれぞれ E [ X ] と E [ Y ] の 2 つの実数ランダム変数 X と Y の間の共分散 Cov(X,Y) は次のように定義されます：

L-1 ノルム：#

絶対値の和

L-2 ノルム：#

平方和の平方根

L-N ノルム：#

N 乗和の N 乗根

マンハッタン距離：#

L-1 距離

ユークリッド距離（ユークリッド計量）：#

L-2 距離

交差エントロピー：#

神経ネットワーク（機械学習）で損失関数として使用され、p は真のラベルの分布、q は訓練後のモデルの予測ラベルの分布を示します。交差エントロピー損失関数は p と q の類似性を測定できます。

、また次のように書くこともできます： -Ep (xi)*log (q (xi))

【2017.6.23
更新】--------------------------------------------------------------------------------------------------------------------------------------------------------------

最小二乗法（最小平方法、OLS）：#

誤差の平方和を最小化し、パラメータを求めます。フィッティング、回帰。偏微分を求めてパラメータを解き、元の関数に代入して数学モデルを得ます。L-2 距離

最大尤度推定（MLE）：#

試行結果（すなわちサンプル）が既知の場合、これらのサンプル分布を満たすパラメータを推定するために使用され、最も可能性の高いパラメータ θ を真の θ* のパラメータ推定とします。最大確率が既知の結果に達するパラメータ値を逆推定します。クルバック・ライブラー距離（相対エントロピー）。

クルバック・ライブラー距離（相対エントロピー）：#

DKL (P|Q) は同じ確率空間における 2 つの確率分布 P と Q の間の距離を測定するために使用され、実際のアプリケーションでは P はデータの真の分布を表し、Q は一般的に P の近似です。

【2017.7.6
更新】--------------------------------------------------------------------------------------------------------------------------------------------------------------

径向基底関数：#

径向基底関数は、原点からの距離にのみ依存する実数値関数であり、Φ（x）=Φ(‖x‖) または任意の点 c までの距離、c 点は中心点と呼ばれ、Φ（x，c）=Φ(‖x-c‖) とも表されます。Φ（x）=Φ(‖x‖) の特性を満たす任意の関数 Φ は径向基底関数と呼ばれ、標準的にはユークリッド距離（ユークリッド径向基底関数とも呼ばれます）が使用されますが、他の距離関数も使用可能です。神経ネットワーク構造では、全結合層と ReLU 層の主要な関数として使用されます。サポートベクターマシンでは、カーネル関数として使用されます。SVM のパラメータ gamma は径向基底関数のパラメータです。

【2017.7.27
更新】--------------------------------------------------------------------------------------------------------------------------------------------------------------

ML の内容をいくつか記録することに決めました。普段の仕事ではフレームワークツールを使用するだけです。基礎知識はたくさん見ましたが、やはり忘れてしまいます。

初期化：#

データを 0 平均と単位分散にするために、平均を引き、分散で割ります。

畳み込みニューラルネットワークの訓練とテストの際に、入力から 平均を引く ことが行われ、目的は入力が原点周辺に分布するようにし、フィッティング速度を上げることです。
入力データの初期化には一般に ホワイトニング もあり、これは相関を取り除くことを意味します。一般的な方法は PCA ホワイトニングで、データに PCA 操作を行った後、分散の正規化を行います。ホワイトニングは計算量が大きく、逆伝播が必ずしも微分可能でないため、使用は推奨されません。
バッチ正規化：これは下のアルゴリズムで、層が深くなるにつれてモデルの表現能力が低下します。したがって、2 つのパラメータを追加しました（図 2）。

以上は参考文献： http://blog.csdn.net/elaine_bao/article/details/50890491

ドロップアウト：#

過学習を防ぐための手段です。ネットワークの層数を深くし、ニューロンの数を増やす（deeper and wider）ことで CNN の表現力と分類能力を向上させることができますが、過学習が起こりやすくなります。

この方法は任意の層の後に使用できます。

具体的には、訓練中にランダムに一部のネットワークノードを働かせず、出力を 0 にします。

ドロップコネクト：#

訓練中にランダムに一部の重みを 0 にします。他は同様です。

以上は参考文献： http://blog.csdn.net/elaine_bao/article/details/50890473

【2017.8.31
更新】--------------------------------------------------------------------------------------------------------------------------------------------------------------

畳み込みネットワークのパラメータ初期化#

パラメータの初期化が小さすぎると、データが各層で伝達される際に徐々に縮小し、効果を発揮しにくくなります。初期化の数値が大きすぎると、データが各層間で伝達される際に徐々に拡大し、発散や無効化を引き起こします。

Xavier 初期化は、パラメータを以下の範囲で均等に分布させます。ReLU との組み合わせで効果が際立ちます。in は現在の層の入力次元、out は現在の層の出力次元を示します。

20170831160918833

MSRAFiler 初期化では、入力の数のみを考慮し、初期化は 0 平均、2/n 分散のガウス分布です。

20170831161324550

uniform 初期化は、パラメータを均等に分布させる初期化で、min と max で上下限を制御し、デフォルトは（0,1）です。
Gaussian 初期化は、指定された平均と標準偏差に基づいてガウス分布を生成します。
constant 初期化は、指定された定数に基づいてパラメータを初期化し、デフォルトは 0 です。

【2017.11.14
更新】--------------------------------------------------------------------------------------------------------------------------------------------------------------

第一種の不連続点（discontinuity point of the first kind）#

もし x0 が関数 f (x) の不連続点であり、左極限と右極限が存在する場合、x0 は関数 f (x) の 第一種の不連続点 と呼ばれます。

第一種の不連続点では、左右の極限が等しく、f (x0) とは異なる場合は 可去不連続点 と呼ばれ、異ならない場合は 跳躍不連続点 と呼ばれます。

非第一種の不連続点は第二種の不連続点（discontinuity point of the second kind）です。

ディリクレ条件（Dirichlet Conditions）#

ある場所では「ディリクレ条件」と書かれることもあります。

ディリクレは、特定の条件を満たす場合にのみ周期信号がフーリエ級数に展開できると考えました。その内容は：

関数は任意の有限区間内で連続であるか、有限個の第一種の不連続点を持つ。
1 周期内に関数は有限個の極大値または極小値を持つ。
x (t) は単一の周期内で絶対可積分である、すなわち

フーリエ変換（Fourier Transform）#

定義：f (t) は t の周期関数であり、t がディリクレ条件を満たす場合、次の式が成立します。これは積分演算 f (t) のフーリエ変換と呼ばれます。

以下の式の積分演算は F (ω) の フーリエ逆変換 と呼ばれます。

F (ω) は f (t) の像関数であり、

f (t) は F ( ω ) の原像関数です。

F (ω) は f (t) の像であり、

f (t) は F ( ω ) の原像です。

フーリエ級数（Fourier Series）#

連続形式のフーリエ変換は実際にはフーリエ級数の一般化であり、積分は実際には極限形式の和の演算子です。

周期関数に対して、そのフーリエ級数表示は次のように定義されます：

ここで T は関数の周期、Fn はフーリエ展開係数です：

実数値関数 （値域が実数の関数）に対して、関数のフーリエ級数は次のように書くことができます：

ここで、an と bn は実周波数成分の振幅です。

離散フーリエ変換（Discrete Fourier Transform，DFT）#

科学計算やデジタル信号処理などの分野でフーリエ変換をコンピュータで使用するためには、関数を連続領域ではなく離散点上で定義し、有限性または周期性の条件を満たす必要があります。

この場合、列の離散フーリエ変換は次のようになります：

その逆変換は：

DFT の定義を直接使用して計算する計算の複雑さは O (N の平方) ですが、高速フーリエ変換（Fast Fourier Transform，FFT）を使用することで複雑さを O (nlogn) に改善できます。

以上の内容は『百度百科』を参考にしています。

フーリエ変換の公式の理解をさらに詳しく知りたい方は、次のリンクを参考にしてください： https://www.zhihu.com/question/19714540

意味や意義の理解については、次のリンクを参考にしてください： https://zhuanlan.zhihu.com/wille/19763358

複素数の演算#

加法：実部を加え、虚部を加えます。

減法：実部を引き、虚部を引きます。

乗法：

（a，ib）×（c，id）

=ac + aid + ibc + i^2bd

=（ac - db）+ i（ad + bc）

（i^2 = -1）

座標系に複素数を表すと、横軸は実数部分、縦軸は虚数部分です。

複素数（a，ib）のモジュラスは sqrt（a^2 + b^2）です。

同様に、複素数の乗法演算は座標系においてモジュラスを掛け、幅角を加えることを示します。

多項式の係数表示と点値表示#

最高次項が n の多項式には n+1 個の係数があります。（0 ~ n）

この n+1 個の係数を n+1 次元のベクトルに構成すると、一意に多項式を特定できます。このベクトルは 係数表現 と呼ばれます。
n 個の数字を代入して n 個の対応する値を求めると、一意に多項式を特定できます。これらの数字と値は 点値表現 を構成します。

クロネッカー積（Kronecker Product）#

A が B を円乗する場合、A が m×n の行列で、B が p×q の行列であるとき、クロネッカー積は mp×nq のブロック行列です。

【2017.11.15
更新】--------------------------------------------------------------------------------------------------------------------------------------------------------------

ディラック δ 関数（Dirac Delta Function）#

定義：

性質：

その性質に基づき、δ(t) は任意の信号を表すために使用できます。

また、フーリエ変換の公式推導において、この性質が使用されます。

未完待続…