신뢰도(validity), 타당도(reliability)

  일상을 살아가는 우리는 필요와 목적에 따라 표준화된 측정도구를 사용하여 높이, 넓이, 무게... 등 대상의 속성을 표현하곤 한다(표준화된 도구를 사용한다는 것은 옳다 그르다 논란의 여지가 있겠으나 필자는 그저 '까라면 까는' 일개 연구원의 시각으로 본 글을 쓰고있다는데 주목하삼. anyway,) 그러나 눈에 보이지 않는 추상적인 실체의 경우, 그 것은 표현하는 사람에 따라 혹은 그 사람이 처한 환경에 따라 영향을 받는 경우가 허다하다. 모니터링조사나 선거조사의 경우 조사기관이 더러 의뢰자의 needs에 맞게 (암묵적으로!!) 측정도구를 변경해주는 것도 같은 맥락에서 볼 수 있다. 따라서 추상적인 실체를 객관적인 도구를 사용하여 간명하게 표현해내야만하는, 필자와 같은 사회과학 분야의 연구자들은 까라면 깔수밖에 없지만 그래도 머리와 가슴에는 "良心" 을 탑재해야 할 것이다. 하지만 良心적인 연구자가 된다 하더라도 상대는 추상적인 실체이므로 측정결과에는 필연적으로 오류가 있기 마련이다.
  

후훗, 하지만 님들 걱정마삼.  어차피 오류 없는 측정이란... "100퍼센트의 여자아이를 만나는 일"과 같은 법이니까. 오류를 최소화 하는 방법, 그리고 이미 발생한 오류를 다루는 방법을 알기만 하면 stage clear!  



Ⅰ. 신뢰도(reliability)


1. 의의
신뢰도는 측정된 결과치의 안정성, 일관성, 예측가능성 등이 내포된 개념으로서

 측정도구의 측정결과, 즉 측정값들이 거의 동일한지를 알아보기 위함이다.

2. 주의해야 할 개념 

⑴ 관찰점수(observed score)

X  = X_T + X_E  (원점수 + 오차점수)

① 진점수(true score) : 특정 대상에 대해 오차없이 동형의 측정을 반복하여 얻은 점수들의 평균값 혹은 기대값
② 오차점수(error score) : 무선오차의 영향을 받은 값
③ 따라서, 관찰점수의 분산은 진점수의 분산과 오차점수의 분산으로 구성된다.

   S²_X = S²_T + S²_E (진점수분산 + 오차점수 분산)

⑵ 표준편차(standard deviation)

① 분산의 양의 제곱근으로서 데이터의 퍼짐 정도를 알 수 있다.
② 관측값 x1, x2, …, xn의 평균값을 m이라 할 때, 표준편차 σ를 아래와 같이 표현할 수 있다
③ 위의 식으로 볼 때, 표준편차가 0이라는 것은 관측 값이 모두 동일한 크기이며
                          표준편차가 클수록 관측값 중에는 평균에서 떨어진 값이 많이 존재한다는 것을 의미한다
                                        
⑶ 표준오차(standard error)
             
             ① 표준오차는 진점수의 신뢰구간을 설정하고,
                               같은 검사에서 피검자들이 얻은 점수에 차이가 있는지 해석하기 위해 사용된다.
             ② 검사를 반복했을 때 각 결과값의 평균이 전체 평균과 얼마나 차이를 보이는가를 알 수 있다   
         
                         бxav = 표준편차(б) / √(시행횟수N)

                         ③ 위의 식으로 볼 때, 표준오차는 시행횟수가 많을수록 작아지며
                                                    표준편차가 작아야 표준오차도 작아짐을 알 수 있다.
 

3. 신뢰도 추정방법

⑴ 검사-재검사 신뢰도(test- retest reliability)

            ① 한 사람이 적당한 시간 간격을 두고 동일한 대상을 측정한 결과를 비교하는 방법이다. 
            ② 물론, 공백의 시간 동안 대상의 속성이 바뀔 수도 있고
                   '적당한 시간 간격'이란 도대체 얼마만큼인지 알 수 없으며
                   피검자(응답자)의 상태를 통제할 수 없다는 점을 고려해야 한다. 

⑵ 동형검사 신뢰도(equivalent-form test reliability)

① '검사-재검사 신뢰도'를 보완한 방법으로서
    측정하고자 하는 바(논리)는 같되 문항이 서로 다른 두가지의 '동형검사'를
    한 사람에게 짧은 간격을 두고 실시하는 방법이다. 
    즉,  "동형의 두 검사는 평균과 표준편차가 같다"는 전제를 깐다고 보면 되겠다.
② 물론, 실시하는 시간 차에서 기인하는 오차와
          두 가지의 검사가 서로 동등한지에서 기인하는 오차가 동시에 산출되므로
          신뢰도 계수는 다른 신뢰도에 비해 낮다.

⑶ 반분신뢰도(split-half reliability)

① 하나의 측정도구를 반으로 나누어 서로의 상관관계로 신뢰도를 추적하는 방법이다.
    어떤 기준으로 나누어야 잘 나눴다고 소문이 날까?
② 말 그대로 처음과 끝을 딱 반으로 나누는 방법을 생각해볼 수 있다. 이른바 '계속적 반분법'.
    물론, 난이도 요인과 속도 요인이 개입될 수 있다는 점을 고려해야 한다.
③ 홀수, 짝수로 나누는 방법도 생각해볼 수 있다. 이른바 '기우수 반분법'
    물론, 하나의 문항에 부속된 문항이 있을 시(1-1, 1-2 처럼) 문항 전체를 한쪽에 배속시키지 않으면
           유사성이 과장될 수 있고 
           후반부 문항에 모두 답을 하지 않을 시 상관계수가 비정상적으로 높게 산출될 수 있다.

④ 문항을 잘 나누는 것도 중요하지만 문항이 많을 수록 신뢰도가 증가하기 때문에 문항의 길이도 중요하다.
    이 경우 상관계수는 Spearman-Brown formula를 이용하여 통계적으로 교정해야 한다.
    물론, 이 공식은 두 검사의 표준편차가 같다는 가정 하에서 계산하는 것이며, 
           만약 두 검사의 표준편차가 다르면 Rolon 공식에 의해 교정하는 것도 좋은 방법이다.

⑷ Cronbach α

① 검사-재검사 신뢰도, 동형검사 신뢰도, 반분신뢰도가 검사 전체의 신뢰도를 나타내는 것이라면
    Cronbach α는 문항간의 내적 합치도(consistency or homogeneity)를 나타낸다.
② Cronbach α값은 가능한 모든 반분법의 시행 결과를 평균한 값이므로 손으로 계산하기엔 너무 방대하지만
    컴퓨터 조작으로 간단히 값을 산출할 수 있다.
③ 계수 값은 ' .6'이 넘어야 유의하다고 할 수 있다.

⑸ 평정자 신뢰도(rater reliability)

            ① 평정자의 평정이 얼마나 일관성이 있는지를 나타낸다
                특히, 개방형 문항에는 후광효과, 관용 오차, 집중경향 오차, 논리적 오차 등이 작용할 수 있기 때문에
                        평정자 신뢰도는 필수적이다.
            ② 평정자간 신뢰도(inter-rater reliability)
                평정자 간 평정 결과의 유사성 정도를 나타낸다.
                - 평정 점수가 연속변수에 의한 경우 신뢰도 추정하는 법으로는 
                  상관계수법(신뢰도 추정이 용이하지만 신뢰도가 낮은 원인에 대해서는 다각적인 분석이 어려운!)과
                  일반화가능도 이론(오차점수의 분산에 대한 원인을 다각적으로 분석할 수 있으나 계산절차가 복잡한!)이 있다.
                - 평정 점수가 범주변수나 명목변수에 의한 경우 신뢰도 추정하는 법으로는
                  일치도 통계(두 평정자가 확률적으로 우연에 의해 평정이 일치할 확률을 포함하는!)와
                   kappa 계수(두 평정자가 확률적으로 우연에 의해 평정이 일치할 확률을 제거한!)가 있다.
                  단, kappa 계수는 가질 수 있는 값이 2개인 변수를 측정할 때 두 명의 평정자 간의 일치 정도를 나타내며
                                       두명 이상일 경우 Intra-Class Correlation을 이용한 신뢰도 검정을 하면 되겠다.
            ③ 평정자내 신뢰도(intra-rater reliability)
                위에서 이미 다루었으므로 PASS!!


4. 종합 : 신뢰도 계수에 영향을 주는 요인

① 문항 수 : 문항 수에 비례
② 문항의 동질성 : 동질성이 높을 수록 신뢰도 계수도 커짐
③ 문항의 모호성 : 문항이 모호하거나 어려우면 추측 요인이 오차로 작용 
④ 표본 수 : 표본의 수가 클수록 신뢰도는 증가
⑤ 점수의 분산 : 점수의 분산이 커질 수록 신뢰도 계수는 커짐

Ⅱ. 타당도(validity)


1. 의의

타당도는 측정하고자 하는 원래 의도한 개념을 얼마나 정확하고 충실하게 측정하는 가를 나타낸다.

2. 주의해야 할 개념

⑴ 타당도에는 무선적 오차뿐 아니라 체계적 오차도 영향을 주므로
    타당도는 신뢰도보다 높을 수가 없다.
    타당도가 보장된 측정은 항상 신뢰성이 있고, 신뢰성 없는 측정은 타당도가 보장되지 않으므로
    신뢰도는 타당도의 필요조건이다.

⑵ 체계적 오차(systematic error)란
    측정대상에 대해 어떤 영향이 체계적으로 영향을 미치는 것으로서
    오류가 항상 일정한 방향으로 발생하게 되므로 결과가 편향된 경향을 보이게 되는 것을 말한다.
 
⑶ 진점수의 분산

               S²_T = S²_V + S²_I  (측정하고자 하는 것을 반영하는 분산 + 관련되지 않은 분산)

⑷ 타당도
              
               r_XY = S²_V  / S²_X (측정하고자 하는 것을 반영하는 분산 / 전체 분산)



3. 타당도 설명 방법 

⑴ 내용타당도(content validity ;  논리적 타당도, 이론적 타당도, 표면 타당도)

① 문항이 전집을 얼만큼 대표할 수 있는가에 따른다.
② 그렇다면 어떤 문항을 어떻게 구성해야 대표성 있는 문항이 되는 것일까?
    일단은 논리적이고 합리적으로 전집을 계층화 하여 분류해야 한다.
    분류하였다면 각 영역에 해당하는 구체적인 문항을 표집한다.
    물론, 전문가에 의해 다양한 기준으로 심도있게 분석하여 표집하므로
    이 점에서 표면타당도(face validity)와는 차이가 있지만
    반대로, 전문가의 주관적 해석과 판단이 개입될 여지가 있다는 단점도 있다.
   

⑵ 준거타당도(criterion validity ; 공인 타당도, 실용적 타당도, 동시적 타당도, 예측타당도)

① 이미 공인된 도구로 측정한 검사점수를 통해 외적 준거를 추론하는 방법
② 이러한 경험적 타당도는
    검사를 실시한 후 일정 시간 후에 준거 자료를 수집하여 비교하는 예언타당도(predictive validity)
    검사와 함께 기준변인의 자료를 구하여 관계를 알아보는 동시타당도(concurrent validity)로 구분해볼 수 있다.
③ 대학원 입학 전형에서 대학 성적 뿐 아니라 공인 어학성적, 자격증, 추천서 등을 요구하는 것은 예언타당도 때문이다.

⑶ 구성타당도(construct validity)

① 직접 관찰할 수 없는 것에 대한 구성개념을 측정하기 위한 것으로서
    측정하고자 하는 구성 개념을 정의하고 가설을 설정하여 경험적인 자료로서 검증한다.
② 같은 개념을 측정하는 경우에는 상이한 측정방법을 사용하더라도 측정값 간에는 상관관계가 커야 하며
    (집중혹은수렴타당성, convergent validity)
    상이한 개념을 측정하는 경우에는 같은 측정방법을 사용하더라도 측정값 간에는 차별성이 있어야 하며
    (판별타당성, discriminant validity)
    이론에 근거한 구성개념 간의 관계가 예상한대로 나타나고 있는지 여부를 평가해야 한다
    (이해타당성nomological validity). 
③ 통계적인 방법으로는 요인분석(factor analysis), 상관관계분석(Correlation Analysis), 
                             집단차이검증, 실험처치 비교(experimental treatment) 등이 있다.

4. 종합 : 타당도에 영향을 주는 요인

① 문항 수 : 측정항목이 많아질 수록 응답자가 실증을 느껴 형식적 응답이 발생하기 때문이다.
② 문화적 요인 : 응답자가 속한 문화의 일반적 범주 외의 단어 등을 포함할 시 문제가 될 수 있고
                    해당 문화 내에서의 바람직성을 기준으로 응답할 가능성이 있다.
③ 문항형태 : 개방형질문은 응답자의 사회경제적 환경에 따른 편차가 크다.

 

---

1. 개념타당성은 심리적인 특성의 측정과 관련된 개념으로 행동과학의 연구에 특히 중요하다.  다음 중 개념 타당성의 구성요소가 아닌 것은?
① 이해타당성          ② 표면타당성          ③ 집중타당성          ④ 판별타당성


2. 신뢰도(reliability)와 관련된 진술 중 올바른 것은?
① 체계적 오차(systematic error)가 작을수록 신뢰도가 높다
② 표본의 수가 클수록 신뢰도는 높아진다.
③ 측정값의 분산에 대한 진실값(참값)의 분산의 비율이다.
④ 신뢰도계수는 특수한 경우에 음(negative)의 값을 가질 수 있다.


3. 논리적 타당도(logical validity)또는 표면타당도(face validity)라고도 불리는 것은?
① 내용 타당도          ② 경험적 타당도          ③ 구성체 타당도          ④ 기준관련 타당도


4. 측정오차가 체계적인 패턴을 띠게 될 때는 무엇이 문제가 되는가?
① 신뢰도          ② 타당도          ③ 검증도          ④ 일반화