Gaussian / Normal Distribution 이해
정규분포는 통계에서 가장 자주 나오는 분포 중 하나다. 딥러닝에서도 초기화, 노이즈 모델링, VAE prior, 표준화 같은 많은 개념이 결국 정규분포와 연결된다.
중요한 이유는 단지 자주 쓰이기 때문만이 아니다. 평균과 분산이라는 비교적 단순한 두 숫자로 분포의 핵심 모양을 설명할 수 있어서, 복잡한 현상을 처음 모델링할 때 출발점으로 쓰기 좋다.
1. 기본 식
μ는 평균, σ는 표준편차다. 평균은 분포 중심을, 표준편차는 얼마나 퍼져 있는지를 나타낸다.
2. 왜 중요한가
- 표준화에서 데이터를 평균 0, 분산 1 형태로 바꿀 때 기준이 된다.
- 초기화에서 작은 정규분포 노이즈를 가중치에 주는 발상이 자주 등장한다.
- VAE에서는 latent prior로
N(0, I)를 자주 사용한다.
3. 직관
시험 점수, 측정 오차, 센서 노이즈처럼 많은 실제 데이터가 평균 주변에 몰리고 극단값은 드물다. 정규분포는 이런 패턴을 수학적으로 아주 잘 표현한다.
그래서 정규분포를 이해하면 "평균에서 멀어질수록 드문 값"이라는 감각을 여러 분야에 재사용할 수 있다. 딥러닝에서는 가중치 초기화가 너무 크면 불안정해지고, 너무 작으면 신호가 약해지는데, 정규분포 기반 초기화는 이 균형을 다루는 출발점이 된다.
4. 표준정규분포
평균이 0이고 표준편차가 1인 분포를 표준정규분포라고 한다. 다른 정규분포도 표준화해서 이 형태로 바꿀 수 있다.
5. 딥러닝 연결
입문 단계에서는 "정규분포는 평균과 퍼짐 정도만으로 많은 현상을 설명하는 기본 모델"이라고 이해하면 충분하다. 이후 Xavier/He 초기화, BatchNorm, VAE를 배우면 왜 이 분포가 반복해서 등장하는지 감각이 생긴다.
면접에서는 "왜 VAE prior를 보통 N(0, I)로 두는가?" 같은 질문으로 이어지기도 한다. 이때 답의 핵심은 계산이 편해서만이 아니라, 중심이 0이고 방향마다 같은 스케일을 갖는 단순한 기준 분포라서 latent space를 해석하고 regularize하기 쉽다는 점이다.
6. 체크리스트
- 평균과 표준편차가 각각 무엇을 의미하는가?
- 왜 표준정규분포로 바꾸는가?
- 딥러닝에서 정규분포가 등장하는 예를 2개 이상 말할 수 있는가?