큰수의 법칙(Law of Large Numbers, LLN)은 확률론에서 매우 중요한 정리로, 많은 수의 반복 시행이 평균적인 결과로 수렴함을 보여줍니다. 이 글에서는 큰수의 법칙의 정의와 종류, 그리고 수학적 증명 방법 중 대표적인 체비쇼프 부등식을 활용한 증명 과정을 소개합니다.
1. 큰수의 법칙이란?
큰수의 법칙은 표본의 수가 증가할수록 표본 평균이 모집단의 기댓값에 가까워진다는 정리입니다. 이는 확률론과 통계학의 근간을 이루는 개념입니다.
정의:
\[ \bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i \rightarrow E[X] \quad (n \to \infty) \]
여기서 \( X_i \)는 독립이고 동일한 분포(i.i.d)를 따르는 확률변수이며, \( E[X] \)는 그들의 공통 기댓값입니다.
2. 약한 법칙 vs 강한 법칙
큰수의 법칙은 두 가지 버전이 있습니다:
- 약한 법칙(WLLN): 확률 수렴 \( \bar{X}_n \xrightarrow{P} \mu \)
- 강한 법칙(SLLN): 거의 확실한 수렴 \( \bar{X}_n \xrightarrow{a.s.} \mu \)
약한 법칙은 기댓값에 수렴할 확률이 점점 1에 가까워짐을 의미하며, 강한 법칙은 실제 수렴함을 보장합니다.
3. 체비쇼프 부등식을 이용한 약한 법칙 증명
가장 기본적인 약한 법칙 증명 방법은 체비쇼프 부등식을 이용하는 것입니다. 다음 조건이 필요합니다:
- \( X_1, X_2, … \)는 i.i.d
- \( E[X_i] = \mu, \quad \text{Var}(X_i) = \sigma^2 < \infty \)
체비쇼프 부등식에 의해:
\[ P\left( \left| \bar{X}_n – \mu \right| \geq \epsilon \right) \leq \frac{\text{Var}(\bar{X}_n)}{\epsilon^2} = \frac{\sigma^2 / n}{\epsilon^2} = \frac{\sigma^2}{n \epsilon^2} \]
우변은 \( n \to \infty \)일 때 0으로 수렴하므로,
\[ P\left( \left| \bar{X}_n – \mu \right| \geq \epsilon \right) \to 0 \]
이는 곧 \( \bar{X}_n \xrightarrow{P} \mu \)를 의미하므로, 약한 큰수의 법칙이 증명됩니다.
4. 강한 법칙은 어떻게 증명되는가?
강한 큰수의 법칙의 증명은 보다 복잡하며, 보렐-칸텔리 보조정리(Borel–Cantelli Lemma), 마르코프 부등식, 콜모고로프의 불등식 등을 활용합니다. 이 증명은 고급 확률론 수준에서 다루어지며, 거의 확실한 수렴을 보장합니다.
5. 예제와 직관
동전 던지기 실험에서, 앞면이 나올 확률이 0.5일 때, 100번, 1,000번, 10,000번 반복할수록 앞면 비율은 0.5에 가까워집니다. 이는 큰수의 법칙을 시각적으로 보여주는 대표적인 예입니다.
결론
정의
반복된 시행의 평균이 모집단의 기댓값에 수렴하는 법칙입니다.
종류
약한 법칙은 확률 수렴, 강한 법칙은 거의 확실한 수렴을 뜻합니다.
체비쇼프 증명
분산이 유한할 때 체비쇼프 부등식을 통해 약한 법칙을 증명할 수 있습니다.
강한 법칙
복잡한 확률론 도구를 사용하여 보다 엄밀한 수렴을 보장합니다.
직관
표본 수가 많아질수록 평균이 이론값에 가까워진다는 원리를 뒷받침합니다.
큰수의 법칙은 통계와 확률, 데이터 분석의 핵심 개념으로, 실제 데이터를 기반으로 신뢰할 수 있는 판단을 내리는 수학적 토대입니다.