Multivariate Normal Distribution (다변량 정규 분포)

 

 

 

 

Multivariate Normal Distribution (다변량 정규분포) Multivariate Gaussian Distribution (다변량 가우시안 분포)

$$\mathbf{x}\sim \mathcal{N}(\mu \mu ,\mathrm{\Sigma }\mathrm{\Sigma })$$ $\mu \mu \in {\mathbb{R}}^n$ : 평균 벡터 $\mathrm{\Sigma }\mathrm{\Sigma }\in {\mathbb{R}}^{n\times n}$: 공분산 행렬 (symmetric)

PDF(Probability density function)

$$(2\pi {)}^{-\frac{n}{2}}|\mathrm{\Sigma }{|}^{-\frac{1}{2}}\exp [-{\displaystyle \frac{1}{2}}(\mathbf{x}-\mu \mu {)}^T\mathrm{\Sigma }{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mu \mu )]$$

Conditional distributions

$$\left[\begin{array}{c}{\mathbf{x}}_{\mathbf{1}}\\ {\mathbf{x}}_{\mathbf{2}}\end{array}\right]\sim \mathcal{N}(\left[\begin{array}{c}{\mu }_1{\mu }_1\\ {\mu }_2{\mu }_2\end{array}\right],\left[\begin{array}{cc}{\mathrm{\Sigma }}_{11}{\mathrm{\Sigma }}_{11}& {\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{12}\\ {\mathrm{\Sigma }}_{21}{\mathrm{\Sigma }}_{21}& {\mathrm{\Sigma }}_{22}{\mathrm{\Sigma }}_{22}\end{array}\right])$$

$${\mathbf{x}}_{\mathbf{1}}|{\mathbf{x}}_{\mathbf{2}}\sim \mathcal{N}({\mu }_{1|2}{\mu }_{1|2},{\mathrm{\Sigma }}_{1|2}{\mathrm{\Sigma }}_{1|2})$$ ${\mu }_1{\mu }_1+{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}{{\mathrm{\Sigma }}_{22}}^{-1}(\mathbf{x}-{\mu }_2{\mu }_2)$ ${\mathrm{\Sigma }}_{11}{\mathrm{\Sigma }}_{11}+{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}{{\mathrm{\Sigma }}_{22}}^{-1}{\mathrm{\Sigma }}_{21}{\mathrm{\Sigma }}_{21}$

 

 

다변량 정규분포(다변량 가우시안 분포)에서

 

$n\times 1$ 크기의 변수 $\mathbf{x}$가 다변량 정규분포를 따르는 경우, 아래와 같이 나타낸다.

 

$$\mathbf{x}\sim \mathcal{N}(\mu \mu ,\mathrm{\Sigma }\mathrm{\Sigma })$$

 

이 때, $n\times 1$ 크기의 평균벡터($\mu \mu$)와 $n\times n$ 크기의 공분산행렬($\mathrm{\Sigma }\mathrm{\Sigma }$)을 가진다.

 

분포의 PDF는 아래와 같이 정의된다.

 

$$(2\pi {)}^{-\frac{n}{2}}|\mathrm{\Sigma }{|}^{-\frac{1}{2}}\exp [-{\displaystyle \frac{1}{2}}(\mathbf{x}-\mu \mu {)}^T\mathrm{\Sigma }{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mu \mu )]$$

 

조건부 분포는 아래와 같이 정의된다.

 

$${\mathbf{x}}_{\mathbf{1}}|{\mathbf{x}}_{\mathbf{2}}\sim \mathcal{N}({\mu }_{1|2}{\mu }_{1|2},{\mathrm{\Sigma }}_{1|2}{\mathrm{\Sigma }}_{1|2})$$

${\mu }_1{\mu }_1+{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}{{\mathrm{\Sigma }}_{22}}^{-1}(\mathbf{x}-{\mu }_2{\mu }_2)$
${\mathrm{\Sigma }}_{11}{\mathrm{\Sigma }}_{11}+{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}{{\mathrm{\Sigma }}_{22}}^{-1}{\mathrm{\Sigma }}_{21}{\mathrm{\Sigma }}_{21}$

 

 

---

 

이 공식은 조건부확률의 정의와 PDF를 이용하여 계산하면 증명할 수 있다. 

$$P(x_1|x_2)=\frac{P(x_1,x_2)}{P(x_2)}$$

 

$$P(x_1|x_2)=\frac{\mathcal{N}(x;\mu ,\mathrm{\Sigma })}{\mathcal{N}(x_2;{\mu }_2,{\mathrm{\Sigma }}_{22})}$$

 

$$\begin{array}{rl}P(x_1|x_2)& =\frac{1/\sqrt{(2\pi {)}^n|\mathrm{\Sigma }|}\cdot \exp [-\frac{1}{2}(x-\mu {)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(x-\mu )]}{1/\sqrt{(2\pi {)}^{n_2}|{\mathrm{\Sigma }}_{22}|}\cdot \exp [-\frac{1}{2}(x_2-{\mu }_2{)}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{-1}(x_2-{\mu }_2)]}\\ & =\frac{1}{\sqrt{(2\pi {)}^{n-n_2}}}\cdot \sqrt{\frac{|{\mathrm{\Sigma }}_{22}|}{|\mathrm{\Sigma }|}}\cdot \exp [-\frac{1}{2}(x-\mu {)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(x-\mu )+\frac{1}{2}(x_2-{\mu }_2{)}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{-1}(x_2-{\mu }_2)].\end{array}$$

 

상세한 과정은 [1]을 참조.

 

[1] https://statproofbook.github.io/P/mvn-cond.html