Law of Iterative Expectation proof

1 minute read

Law of Iterative Expectation (LIE) - Proof

Law of Iterative Expectation (LIE)의 증명은 조건부 기대값의 정의에 기반을 두고 있습니다. 이를 이해하기 위해 먼저 기본 개념을 간단히 정리한 후, 증명 과정을 단계별로 설명하겠습니다.

어떤 확률변수 X와 조건부 변수 Y에 대해 X의 조건부 기대값 $수식$ 는 Y가 주어졌을 때 X의 기대값을 의미합니다. 즉, 조건부 확률 분포에 따라 계산된 기대값입니다.

Law of Iterative Expectation은 다음과 같이 정의됩니다:

$\mathbb{E}[X]=\mathbb{E}[\mathbb{E}[X|Y]]$

이 법칙은 조건부 기대값의 전체 기대값이 X의 전체 기대값과 같다는 것을 나타냅니다.

확률변수 X의 기대값은 다음과 같이 정의됩니다:

$\mathbb{E}[X]=\int_{-\infty}^{\infty}x f_X(x)\,dx$

여기서 $f_X(x)$ 는 X의 확률 밀도 함수입니다.

조건부 기대값 $\mathbb{E}[X|Y=y]$ 는 ( Y = y )일 때 X의 기대값입니다. 이는 X의 조건부 확률 밀도 함수 $수식$ 에 의해 정의되며, 다음과 같이 표현할 수 있습니다:

$\mathbb{E}[X|Y=y]=\int_{-\infty}^{\infty}x f_{X|Y}(x|y)\,dx$

이제 $\mathbb{E}[\mathbb{E}[X|Y]]$ 를 계산해 봅시다. 여기서 $\mathbb{E}[X|Y]$ 는 Y에 관한 함수이므로, 이를 사용하여 전체 기대값을 구하는 방식은 다음과 같습니다:

$\mathbb{E}[\mathbb{E}[X|Y]]=\int_{-\infty}^{\infty}\mathbb{E}[X|Y=y]f_Y(y)\,dy$

여기서 $f_Y(y)$ 는 Y의 확률 밀도 함수입니다. 이 식은 Y의 확률 분포에 대해 조건부 기대값을 적분한 결과입니다.

위 식에 $\mathbb{E}[X|Y=y]$ 의 정의를 대입하면:

$\mathbb{E}[\mathbb{E}[X|Y]]=\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}x f_{X|Y}(x|y)\,dx\right)f_Y(y)\,dy$

위의 이중 적분에서 Fubini’s Theorem에 따라 적분의 순서를 교환할 수 있습니다. 즉, 다음과 같이 표현됩니다:

$\mathbb{E}[\mathbb{E}[X|Y]]=\int_{-\infty}^{\infty}x\left(\int_{-\infty}^{\infty}f_{X|Y}(x|y)f_Y(y)\,dy\right)\,dx$

$f_{X|Y}(x|y)*f_Y(y)$ 는 X와 Y의 결합 확률 밀도 함수 $f_{X,Y}(x,y)$ 입니다. 따라서:

$\mathbb{E}[\mathbb{E}[X|Y]]=\int_{-\infty}^{\infty}x\left(\int_{-\infty}^{\infty}f_{X,Y}(x,y)\,dy\right)\,dx$

$\int_{-\infty}^{\infty}f_{X,Y}(x,y),dy$ 는 X의 주변 확률 밀도 함수 $f_X(x)$ 입니다. 따라서:

$\mathbb{E}[\mathbb{E}[X|Y]]=\int_{-\infty}^{\infty}x f_X(x)\,dx$

이 식은 X의 전체 기대값 $\mathbb{E}[X]$ 입니다.

따라서, 조건부 기대값의 기대값은 전체 기대값과 같다는 것을 증명할 수 있습니다:

$\mathbb{E}[\mathbb{E}[X|Y]]=\mathbb{E}[X]$

이로써 Law of Iterative Expectation이 증명되었습니다.