사회복지조사론 - 실험조사설계의 타당도, 내적 타당도와 외적 타당도의 저해요인과 내적 타당도와 외적 타당도를 높이는 방법

사회복지조사론에서의 실험조사설계는 매우 중요한 부분이다. 실험조사설계란 "독립변수와 종속변수 간에 인과관계가 있음을 증명하고자 하는 조사설계"이며 이러한 실험조사설계에서 인과관계의 추론 과정에 필요한 타당도는 크게 내적 타당도와 외적 타당도로 구분된다. 이에 내적 타당도 및 외적 타당도의 저해요인과 타당도를 높이는 방법에 대해 살펴보겠다. 

 

1. 내적 타당도

 

내적 타당도란 인과성을 확인하기 위해, 즉 "종속변수의 변화가 독립변수에 의해 일어난 것인가?"를 확신하는 정도"를 의미한다. 인과관계를 추론하기 위해서는 실험조사설계의 세 가지 요건을 만족해야 하는데 그 정도에 따라 조사연구가 내적 타당도를 갖게 된다. 반대로 기준을 만족시키지 못하는 정도가 종속변수를 설명하는데 있어 독립변수가 인과적 역할을 수행한다 라는 결론을 내릴 수 있는 근거가 제한되게 되는데, 실험조사설계에서 일반적으로 내적 타당도에 영향을 주는 위협요인들로는 다음과 같은 것들이 있다. 이 요인들은 외생 변수 혹은 대안적 설명이라고 한다.

 

1) 성숙효과

 

사람은 조사연구의 대상이든 아니든 계속 성장하고 변화하는데 그 변화가 조사 결과에 영향을 미친다. 성숙효과란 조사 기간 중 조사 집단의 특성이 변화하여 종속변수에 영향을 미치는 경우를 뜻한다. 특성의 변화란 조사 집단에 속해 있었던 조사대상자의 심리적, 생리적, 경제적, 인구통계적 특성 등의 변화를 포함한다.  

 

2) 역사적 사건

 

역사적 사건이란 조시자의 의도와는 관계없이 일어나서 종속변수에 영향을 줄 수 있는 사건을 뜻한다. 조사기간 중 조사에 영향을 미치는 사건이 발생하는 경우에 그 영향으로 인해 실험 대상 집단의 특성이 변할 수 잇으며 조사기간이 길면 길수록 외부 사건으로부터 영향을 받을 가능성이 커진다.

 

3) 측정 효과

 

측정(testing, 검사) 효과란 개입 전후 측정을 반복할 때 사전검사가 사후 검사에 영향을 미칠 수 있음을 뜻한다. 즉, 반복되는 측정이 검사에 대한 연습이 될 수 있기 때문에 측정 결과를 왜곡시킬 가능성이 있다는 것이다.

 

4) 측정 도구 효과

 

측정 도구 효과란 측정 도구의 사용과 도구의 점수 산정 방법 등 측정 절차와 관련해 의도치 않은 영향을 주는 것을 뜻한다. 또한 사전 조사와 사후 조사의 실시 요원이 다른 경우에 측정 방법의 변화와 같이 측정 도구 문제가 측정 결과에 영향을 줄 수 있다.

 

5) 대상자 선정 오류

 

대상자 선정이 잘못되어서 실헙집단과 통제집단이 서로 상이하거나 모집단을 정확히 대표하지 못할 경우에 내적 타당도를 위협한다. 이러한 경우에는 내적 타당도 저해를 방지하기 위해 무엇보다도 무작위 표분추출과 집단 배정이 이루어지도록 해야 한다.

 

6) 통계적 회귀

 

통계적 회귀란 극단적 사례를 집단에 포함시길 경우 발생하는 오류로, 극단적인 측정값은 사후검사를 할 떄 중간 값(집단 평균)쪽으로 이동하는 경향이 있는 것이다. 즉, 사전검사 때 높은(낮은) 점수를 기록한 사람은 통계적 회귀로 인해 사후검사 때 더 낮은(높은) 점수를 기록할 가능성이 크다. 이 문제는 무직위 배정 혹은 통제집단을 활용해서 통제가 가능하다.

 

7) 실험 도중 탈락

 

실험 도중에는 다양한 이유로 조사대상자가 상실되고 감소되는데 이때 집단의 전체적인 분위기에 변화를 줄 수 있으며 사후검사 시에 측정값을 왜곡시킬 수도 있다. 즉, 실험 도중 탈락이란 사전 측정을 한 실험 대상자가 사후 측정을 하기 전 실험 대상에서 탈락 되는 경우를 뜻한다.

 

8) 상호작용의 영향

 

상호작용의 영향은 보통 내적 타당도의 저해 요인 간에 상호작용이 일어나는 경우 발생한다. 선정 오류와 성숙의 상호작용에서는 실험집단과 통제집단의 선정에서 동질적이지 않은 데다가 성장 속도도 달라지는 경우가 존재한다. 선정 오류와 탈락의 상호작용은 특정한 집단에서 탈락하는 비율이 두드러지게 나타날 때 내적 타당도가 저해된다. 

 

2. 내적 타당도를 높이는 방법

위에서 설명한 바와 같이 내적 타당도를 저해하는 여러 요소들을 통제하기 위한 최선의 방법은 무엇보다도 무작위 배정과 통제집단을 활용하는 것이다. 내적 타당도를 저해하는 요인을 감소시키거나 제거하여 내적 타당도를 높이는 방법은 다음과 같다.

 

첫째, 조사연구의 시작과 끝, 다시 말해 조사연구 기간을 짧게 유지하는 것이다. 이것은 역사적 사건의 위협 요인을 줄이는 것에 도움을 주고 어린이나 유년기에 대하여 연구할 경우 성숙 효과, 선정과 성숙의 상호작용 위협 요인을 줄일 수 있다. 그러나 시계열 연구의 경우 이것이 적용되지 않는다.

 

둘째, 연구 요원을 훈련하여 측정 시 동일한 절차(방법)을 시행하도록 한다. 이것은 측정 도구와 관련된 영향을 감소시킬 수 있다.

 

셋째, 조사대상자, 특히 통제집단 참여자와의 접촉을 계속 유지하는 것이다. 이는 조사대상자의 자연 감소와 소멸을 방지할 수 있다.

 

넷째, 극단적 측정값을 보이는 대상자는 피하는 것이다. 즉, 한 번의 극단적 측정값으로 대상자를 선정하지 않도록 해야 한다. 이렇게 하면 통계적 회귀를 통제할 수 있다.

 

다섯째, 가능한 무직위 배정을 활용하는 것이다. 이것은 참여자 선정 문제를 해결하는 데 도움을 준다. 

 

3. 외적 타당도

 

외적 타당도란 "실험조사 결과를 어느 정도 일반화할 수 있는가", "다른 대상자 및 다른 상황에서도 동일한 결과가 가능한가"에 대한 것이다. 즉, 한 지역사회복지관이 실시한 프로그램이 효과가 있다고 나타났을 경우에 다른 복지관에서 동일한 프로그램을 실시했는데 동일한 효과가 나타난다면 이 조사연구는 외적 타당도가 높다고 할 수 있는 것이다. 실험조사설계에서 일반적으로 외적 타당도를 저해하는 요인들은 다음과 같다.

 

1) 측정의 반응효과

 

측정의 반응효과란 실험조사를 수행하면서 사전 측정을 하여 응담자의 인식과 민감성에 영향을 주어 조사대상자가 모집단을 대표할 수 없는 대상자가 되도록 하는 것이다. 즉, 사전 측정을 통해 응답자에게 자신이 조사연구와 관련되어 있다는 점을 깨닫게 하거나 조사를 의식하도록 함으로써 스스로 조사에 대한 민감성 및 반응을 보이게 만드는 것이다. 이러한 장애 요인은 내적 타당도 저해요인 중 측정효과와 같다.

 

2) 참여자 선정과 연구 속성의 상호작용

 

참여자 선정과 연구 속성의 상호작용이란 조사대상자를 무작위로 구하기 어려운 경우 생기는 문제이다. 지금 수행하려는 조사연구가 3-4시간 정도 심도 있는 인터뷰를 요구하는 것이라면 많은 경우가 접촉을 거절하거나 참여하지 않을 것이다. 게다가 연구자와 대상자 간 친분이나 개인적이 관계가 없는 상황에서 참여하는 대상자가 많은 경우에는 시간이 많거나 말을 하고 싶어 할 수도 있고, 외로운 사람일 가능성이 있다. 이러한 경우 모집단을 정화갛게 대표할 수 없으므로 연구 결과의 일반화에 영향을 미칠 수 있다. 

 

3) 실험세팅의 영향

 

실험세팅의 영향이란 조사대상자가 일상적으로 느끼는 상황과는 다른 환경에서 실험조사설계가 진행되는 경우 조사대상자의 반응이 색다른 환경으로 인해 변화할지도 모른다는 것이다. 예를 들어 자기의 모습이 녹화되거나 이중 거울로 관찰되면 조사대상자는 더 잘하려고 노력하거나 당황하면서 자신들의 행동을 자연스럽게 표현하지 못할 수 있다.

 

3) 다중 치료의 효과

 

다중 치료의 효과란 실험조사에 개입이 여러 차례 있을 경우에 생기는 문제이며 실험 집단의 대상자에게 개입 시간이나 순서가 동일하게 적용되기 어려우며 다중 개입은 누적효과가 있어서 구체적인 개입 효과를 정확하게 측정하기거 어렵다는 것이다. 

 

4. 외적 타당도를 높이는 방법

 

일반적으로 실험조사설계에서는 항상 내적, 외적 타당도에 대한 저해 요인이 있는데 실험조사가 어떤 특정 지역이나 특정 프로그램에 국한되는 경우 외적 타당도는 그다지 중요하지 않다. 하지만 그런 경우가 아니라 조사 결과를 일반화하려면 외적 타당도 저해 요인을 제거하거나 감소시켜야 하는데 그 방법은 다음과 같다.

 

첫째, 조사대상자가 적용될 집단의 대표성을 갖도록 해야 한다.

 

둘쨰, 개입 자체가 분명하고 구조화될 수 있도록 한다.

 

셋째, 진행 요원이 훈련되고 자질을 갖추어야 하며 개입이 동일하게 진행되도록 한다. 

 

---

과제 신청 문의는 댓글로 남겨주시면 답변 드리겠습니다.