Multivariate Normal Distribution (다변량 정규 분포)

 

 

 

 

Multivariate Normal Distribution (다변량 정규분포) Multivariate Gaussian Distribution (다변량 가우시안 분포)

$$ \mathbf{x} \sim \mathcal{N}(\pmb{\mu},\,\pmb{\Sigma})$$ $ \pmb{\mu} \in \mathbb{R}^n $ : 평균 벡터 $ \pmb{\Sigma} \in \mathbb{R}^{n \times n}$: 공분산 행렬 (symmetric)

PDF(Probability density function)

$$ (2\pi)^{-\frac{n}{2}} | \Sigma |^{-\frac{1}{2}} \exp \left[-\dfrac{1}{2}(\mathbf{x}-\pmb{\mu})^T\pmb{\Sigma}^{-1}(\mathbf{x}-\pmb{\mu})\right] $$

Conditional distributions

$$ \begin{bmatrix} \mathbf{x_1}\\ \mathbf{x_2} \end{bmatrix} \sim \mathcal{N} \left( \begin{bmatrix} \pmb{\mu_1}\\ \pmb{\mu_2} \end{bmatrix} ,  \begin{bmatrix} \pmb{\Sigma_{11}} & \pmb{\Sigma_{12}}\\ \pmb{\Sigma_{21}} & \pmb{\Sigma_{22}} \end{bmatrix} \right) $$

$$ \mathbf{x_1} | \mathbf{x_2} \sim \mathcal{N}( \pmb{\mu_{1|2}},\pmb{\Sigma_{1|2}} )$$ $ \pmb{\mu_1} + \pmb{\Sigma_{12}}\pmb{\Sigma_{22}}^{-1} (\mathbf{x} - \pmb{\mu_2}) $ $ \pmb{\Sigma_{11}} + \pmb{\Sigma_{12}}\pmb{\Sigma_{22}}^{-1}\pmb{\Sigma_{21}} $

 

 

다변량 정규분포(다변량 가우시안 분포)에서

 

$n \times 1$ 크기의 변수 $\mathbf{x}$가 다변량 정규분포를 따르는 경우, 아래와 같이 나타낸다.

 

$$ \mathbf{x} \sim \mathcal{N}(\pmb{\mu},\,\pmb{\Sigma})$$

 

이 때, $n \times 1$ 크기의 평균벡터($\pmb{\mu}$)와 $n \times n$ 크기의 공분산행렬($\pmb{\Sigma}$)을 가진다.

 

분포의 PDF는 아래와 같이 정의된다.

 

$$ (2\pi)^{-\frac{n}{2}} | \Sigma |^{-\frac{1}{2}} \exp \left[-\dfrac{1}{2}(\mathbf{x}-\pmb{\mu})^T\pmb{\Sigma}^{-1}(\mathbf{x}-\pmb{\mu})\right] $$

 

조건부 분포는 아래와 같이 정의된다.

 

$$ \mathbf{x_1} | \mathbf{x_2} \sim \mathcal{N}( \pmb{\mu_{1|2}},\pmb{\Sigma_{1|2}} )$$

$ \pmb{\mu_1} + \pmb{\Sigma_{12}}\pmb{\Sigma_{22}}^{-1} (\mathbf{x} - \pmb{\mu_2}) $
$ \pmb{\Sigma_{11}} + \pmb{\Sigma_{12}}\pmb{\Sigma_{22}}^{-1}\pmb{\Sigma_{21}} $

 

 

---

 

이 공식은 조건부확률의 정의와 PDF를 이용하여 계산하면 증명할 수 있다. 

$$ P(x_1|x_2) = \frac{P(x_1,x_2)}{P(x_2)} $$

 

$$ P(x_1|x_2) = \frac{\mathcal{N}(x; \mu, \Sigma)}{\mathcal{N}(x_2; \mu_2, \Sigma_{22})} \; $$

 

\begin{split}
P(x_1|x_2) &= \frac{1/\sqrt{(2 \pi)^n |\Sigma|} \cdot \exp \left[ -\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu) \right]}{1/\sqrt{(2 \pi)^{n_2} |\Sigma_{22}|} \cdot \exp \left[ -\frac{1}{2} (x_2-\mu_2)^\mathrm{T} \Sigma_{22}^{-1} (x_2-\mu_2) \right]} \\
&= \frac{1}{\sqrt{(2 \pi)^{n-n_2}}} \cdot \sqrt{\frac{|\Sigma_{22}|}{|\Sigma|}} \cdot \exp \left[ -\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu) + \frac{1}{2} (x_2-\mu_2)^\mathrm{T} \Sigma_{22}^{-1} (x_2-\mu_2) \right] \; .
\end{split}

 

상세한 과정은 [1]을 참조.

 

[1] https://statproofbook.github.io/P/mvn-cond.html