상관(correlation)이 없는 것과 독립(independence)인 것은 같지 않다.
Gaussian distribution을 이루는 data 에서는 상관이 없는 것을 독립이라고 한다. 하지만 실제 세계에서 많은 data 들은 nongaussian distribution을 가진다. 다음의 그림은 상관이 없지만, 독립적이지 않은 경우를 보여준다.
이러한 경우에 독립성에 대한 측정은 Information theory 에 근거하여 구해질 수 있다. Mutual Information 이 0이 되면, Joint entropy 는 각각 확률변수의 엔트로피의 합과 동일하게 되고, 확률변수 상호간에 어떤 정보도 주지 않기 때문에, 독립성이 보장된다. 이 관계는 다음 그림과 같은 벤다이어그램으로 표시할 수 있다.
우측의 경우와 같이 두 확률변수의 Mutual Information 이 0인 경우, "statistically independent" 하다고 말한다.
독립이 상관이 없는 것보다 어떻게 강력한지를 말해주는 하나의 방법은 독립이 nonlinear uncorrelatedness 라고 말하는 것이다. 만약 s1 과 s2 가 독립이라면, 어떤 nonlinear transformation g(s1) 과 h(s2) 는 그들의 공분산(covariance)이 0이기 때문에 상관이 없게 된다. 대조적으로, 독립이지는 않지만, 상관이 없는 두 개의 random variable 에 대한 이러한 nonlinear transformation 은 일반적으로 0 의 공분산을 가지지 않는다.
참고 서적 : Independent Component Analysis, Elements of Information theory