※この記事は学習ノートとして引用文献を完全に移植したものです。このページの内容の一切の著作権は引用元に帰属します。
$\newcommand\h{{\boldsymbol h}}\newcommand\r{{\boldsymbol r}}$
自己符号化器(autoencoder)とは、入力をその出力にコピーするように学習させたニューラルネットワークである。内部には入力を表すために使われる符号(code)を記述する隠れ層$\h$をもっている。このネットワークは符号化器関数$\h=f(x)$と再構成$\r=g(\h)$を生成する複合化器との２つの部分から構成されていると見ることもできる。この構造を以下に示す。
自己符号化器が単にどこでも$g(f(\x))=\x$となるように学習できても特に有用というわけではない。代わりに自己符号化器は完全なコピーを学習しないように設計されている。通常は近似的にのみコピーできるようにし、そして訓練データに類似下入力のみをコピーするように制限されている。モデルは入力の中のコピーすべき特徴に優先順位をつけなければならないので、データに含まれる有用な性質をしばしば学習する。