정보 엔트로피

오늘은 '정보 엔트로피'를 알아볼게요. 반반 확률로 나오는 동전과 항상 앞면만 나오는 동전이 있을 때, 둘 다에게 앞면이 나왔다고 알려주면 정보의 무게가 같을까요? 반반 동전의 결과는 예측할 수 없었으니 진짜 새로운 소식이지만, 항상 앞면만 나오는 동전의 결과는 이미 알고 있던 뻔한 얘기예요. 수학자 섀넌은 확률이 낮은, 그러니까 예상하지 못한 사건일수록 더 많은 정보량을 담고 있다고 정의했고, 이 정보량을 평균 낸 값을 엔트로피라고 불렀어요. 모든 결과가 똑같은 확률일 때 엔트로피는 최대가 되고, 결과가 거의 정해져 있으면 최소가 돼요.