정보 엔트로피, Information Entropy

정보 엔트로피(또는 섀넌 엔트로피,Shannon Entropy)는 정보 이론에서 자주 사용되는 개념이며, 열역학에서의 엔트로피와 크게 다르지 않은 개념이다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartley)를 사용한다. 정보량(information content)은 확률에 반비례한다. 엔트로피는 '어떤 상태에서의 불확실성', 또는 이와 동등한 의미로 '평균 정보량'을 의미한다. 정의 확률변수 $X:P\rightarrow E$가 분포 $f:E\rightarrow \mathbb{R}$을 따른다고 하자. 그렇다면 $X$의 정보 엔트로피 $H\left (..