IRT 모형 선택, 표본크기, 척도변환방법이 IRT 척도변환에 미치는 영향

1 개요[ | ]

Influence of IRT scale transformations base on IRT model selelction, sample sizes, scale transformation methods
IRT 모형 선택, 표본크기, 척도변환방법이 IRT 척도변환에 미치는 영향

저자: 정승은

2 초록[ | ]

국가수준 학업성취도 평가나 국제학업성취도 평가와 같은 대규모 검사에서는 검사의 보안이나 다른 실제적인 이유로 인하여 공통문항 비동등 집단 설계를 활용한 동등화가 주로 사용된다. 공통문항 비동등 집단 설계를 통해 자료를 수집하고 문항반응이론을 기반으로 동등화를 시행할 경우, 다른 검사 유형들에서 구해진 문항 모수 추정치를 척도변환을 통해 공통척도 상에 놓아야 한다. 이 연구는 공통문항 비동등 집단 설계에서 특정 문항반응모형의 선택이 문항반응이론 척도변환에 미치는 영향을 알아보고자 하였다. IRT 모형 선택과 함께 표본 크기, 척도변환 방법이 문항반응이론 척도변환 결과의 정확성에 미치는 영향을 비교하고자 하는 것을 목적으로 하였다.

이를 위해 연구 문제는 크게 3개로 구성되었다. 첫째, IRT 자료생성 모형과 모수 추정 모형의 일치와 불일치에 따라 IRT 척도 변환의 정확성에 미치는 영향은 어떠한가? 둘째, IRT 자료생성 모형과 모수 추정 모형이 불일치 할 때, 상대적으로 적합한 IRT 척도변환 결과를 산출하는 추정방법은 무엇인가? 셋째, 피험자 수에 따라 IRT 자료생성 모형과 모수 추정 모형의 일치 정도가 IRT 척도변환에 미치는 영향은 차이가 있는가? 연구 문제에 답하기 위해 모의실험 연구를 설계하였다. 1-모수, 2-모수, 3-모수 문항반응이론 모형을 각각 적용하여 자료를 생성하였고, 검사는 공통문항 10문항을 포함하여 총 50개 문항으로 구성되었다. 표본크기는 500명, 1,500명, 3,000명으로 설정하였다. 이렇게 생성된 자료에 각각 1-모수, 2-모수, 3-모수 모형을 적용하여 모수를 추정하였고 분리추정과 동시추정 방법을 적용하여 척도변환을 시행하였다.

본 연구의 결과를 요약하면 다음과 같다. 첫째, 자료생성모형과 모수추정모형이 일치할 때, 각각의 조건에서 RMSE 값이 낮았으며, 이는 모형이 일치할 때 척도변환의 추정오차가 작다는 것을 의미하는 것으로 해석할 수 있다. 그러나 2-모수로 자료를 생성했을 때는 이러한 일반화가 적용되지 않고, 오히려 1-모수 모형이 2-모수 모형보다 작은 RMSE 값을 보이는 경우가 많았고, 같은 패턴이 BIAS 분석에서도 나타났다. SEE 값에서는 1-모수 모형을 적용하여 추정할 때 각각의 조건에서 낮게 나타났다. 둘째, 자료생성모형과 모수추정모형이 일치하지 않을 경우를 살펴보면, 1-모수나 2-모수 모수추정모형보다 3-모수 모수추정모형이 상대적으로 큰 RMSE 값과 BIAS 값을 보였다. 특히, 3-모수 자료생성모형의 경우, 1-모수 모수추정모형과 2-모수 모수추정모형이 상대적으로 매우 큰 RMSE 값과 BIAS 값을 보였다. 즉, 3-모수 모형이 적합할 때는 3-모수 모수추정모형을 적용하여 척도변환을 하여야 하고, 1-모수나 2-모수 모수추정모형을 잘 못 적용하면 척도변환 과정에 큰 편의가 발생한다. 마지막으로, 피험자 수에 따른 척도변환 오차는 피험자 수가 많을수록, 작은 것으로 나타나 선행연구와 유사한 결과가 도출되었다. 1-모수와 2-모수 모수추정모형이 대체적으로 모든 피험자 수 조건에서 낮은 RMSE 값과 BIAS 값을 보였고, 둘 사이의 차이도 크지 않았다.

연구 결과와 결론을 바탕으로 현장의 연구자를 위한 논의를 제시하면 다음과 같다. 첫째, 문항반응이론 자료생성모형과 모수추정모형이 일치할 경우, 상대적으로 피험자 수가 적고 1-모수 모형을 적용할 경우, 분리추정 척도변환방법이 더 나은 선택이 될 것으로 보인다. 피험자 수가 충분할 경우 2-모수나 3-모수 모형의 적용이 가능하고, 분리추정 척도변환방법 중에서도 평균-표준편차 방법이 좋은 선택이 될 수 있다. 이 연구의 결과를 바탕으로 보면 원래 자료가 3-모수에 적합한 경우가 아니라면, 1-모수 모형이 좋은 대안이 될 수 있을 것으로 보인다. 둘째, 문항반응이론 척도변환에 있어서 자료생성모형과 모수추정모형이 일치하지 않을 경우, 1-모수 보다는 2-모수가, 2-모수 보다는 3-모수 모수추정모형이 더 큰 오차를 보였다. 이는 문항반응이론 모형일치도를 연구한 많은 선행 연구들에서도 보고되었던 결과이며, 본 연구에서는 피험자 수가 적은 경우와 피험자 수가 많은 경우에도 유사한 결과로 나타났다. 셋째, 피험자 수가 많은 경우에는 3-모수 문항반응모형 모수추정이 더 정확한 척도변환 결과를 산출하였다. 이러한 결과는 모든 척도변환 방법에서 동일하게 나타났다. 본 연구의 결과를 통해, 선행연구들에서 언급한 바와 같이 피험자 수가 충분할 때에는 자료에 적합하다면 3-모수 문항반응이론 모형을 적용하여 문항 모수를 추정하고 척도변환 하는 것이 상대적으로 좋은 척도변환 결과를 얻을 수 있는 방법이 될 수 있을 것이다.

3 참고[ | ]