비유를 통한 이해 ¶
항상 사격을 할 때는 영점사격을 먼저 하고, 그 다음에 기록사격을 하게 된다.
영점사격을 통해 표적에 맞은 위치가 어느 한쪽으로 쏠려 있다면, 클릭을 조정해서 영점을 맞추게 된다. 이것은 타당도를 확보하기 위한 것이다. 측정하고자 하는 것을 얼마만큼 정확하게 측정하느냐, 내가 쏘고 싶은 것을 얼마나 정확하게 쏘는가의 문제이다.
만약 영점은 정확하게 조정이 되어 있었는데, 옆으로 1cm 정도 벗어나서 쐈다면 어떻게 되겠는가? 표적에서 1cm 떨어져서 맞을 것이다. 하지만 영점이 몇 mm 잘 못 조정이 되어 있는 상태라면, 아무리 스나이퍼가 겨냥을 해서 쏴도, 한참 엉뚱한데 가서 맞을 수 밖에 없다.
신뢰도는 타당도와는 개념이 다르다. 영점은 정확하게 맞추어져 있는 상태에서(타당도가 확보된 상태에서) 두 사람이 사격을 한다. 한 사람은 스나이퍼이고, 한 사람은 알콜리즘 환자이다. 스나이퍼는 백발백중 정확하게 맞출 것이다. 그의 사격은 신뢰도가 높다. 하지만 손을 떠는 알콜리즘 환자는? 그가 쏜 총알은 널뛰듯 아래위, 좌우로 넓은 범위에서 흩어져서 박힐 것이다. 그의 사격은 신뢰도가 낮다.
이 관계는 다음의 그림으로 더 정확하게 알 수 있다.
신뢰도와 타당도의 관계 ¶
신뢰도가 높은 것은 타당도가 높은 것을 보장하지 않는다. 어떤 사람이, 알고 싶은 것은 키인데, 신발 사이즈를 재서 키의 지표로 삼고자 하였다. 신발사이즈는 성장하고 있는 청소년이나 아동이 아니라면 신뢰도가 높은 지표이다. 아침에 잰 것과 저녁에 잰 것에 큰 차이가 날 수가 없다. 하지만 키에 대한 지표로 신발사이즈는 타당도가 낮다. 정확하게 측정하고자 하는 것을 직접적으로 측정하고 있지 않기 때문이다. 영점조정이 잘못되어 엉뚱한 데를 겨냥하고 있는 것이다.
신뢰도가 높은 것은 타당도가 높은 것을 보장하지는 않는다.
반대로 타당도가 높은 것도 신뢰도가 높은 것을 보장하지 않는가? 이 부분은 이견이 분분하다.
논리적으로는 타당도가 높은 것이 신뢰도를 보장하지는 않는다. 위의 그림에서 볼 수 있듯이 독립적인 축이기 때문이다.
하지만 이렇게 생각해 볼 수 있다. 타당도가 높을 수 있다는 것은 대상을 정확하게 규정할 수 있다는 것이다. 대상을 정확하게 규정하는 것은 복합적인 요인에 영향을 받는 개념일수록 어려울 것이며, 단일 요인에 영향을 받는 개념일수록 쉬울 것이다. 따라서 일반적으로 보다 적은 요인에 의해서 규정될 수 있는 개념, 변수의 타당도가 더 높을 것이며, 그 변수에 영향을 미치는 요인의 수가 적을수록, 그 요인들에 따른 측정과정에서의 분산, random error 도 줄어들 것이므로 신뢰도가 증가하지 않을까 생각할 수 있다. --지상은