Sahin, A., & Anil, D. (2017) - 문항반응이론에서 문항 모수에 대한 검사 길이와 표본 크기의 영향

1 개요

The Effects of Test Length and Sample Size on Item Parameters in Item Response Theory

문항반응이론에서 문항 모수에 대한 검사 길이와 표본 크기의 영향

• 저자: Alper Şahin, Duygu Anıl
• 키워드: IRT 작은 표본, 문항 모수 추정, 문항반응이론, 언어 검사, 짧은 검사

2 Abstract

This study investigates the effects of sample size and test length on item-parameter estimation in test development utilizing three unidimensional dichotomous models of item response theory (IRT). For this purpose, a real language test comprised of 50 items was administered to 6,288 students. Data from this test was used to obtain data sets of three test lengths (10, 20, and 30 items) and nine different sample sizes (150, 250, 350, 500, 750, 1,000, 2,000, 3,000 and 5,000 examinees). These data sets were then used to create various research conditions in which test length, sample size, and IRT model variables were manipulated to investigate item parameter estimation accuracy under different conditions. The results suggest that rather than sample size or test length, the combination of these two variables is important and samples of 150, 250, 350, 500, and 750 examinees can be used to estimate item parameters accurately in three unidimensional dichotomous IRT models, depending on test length and model employed.

이 연구는 문항반응이론(IRT)의 3가지 1차원 이분 모델을 활용하여, 검사 개발에서 문항 모수 추정에 대한 표본 크기와 검사 길이의 영향을 조사한다. 이를 위해 6,288명의 학생을 대상으로 50문항으로 구성된 실제 언어검사를 실시하였다. 이 테스트의 데이터는 3가지 테스트 길이(10, 20, 30 문항)와 9가지 다른 표본 크기(150, 250, 350, 500, 750, 1,000, 2,000, 3,000, 5,000명의 수험자)의 데이터 세트를 얻는 데 사용되었다. 그런 다음 이러한 데이터 세트를 사용하여 검사 길이, 표본 크기, IRT 모델 변수를 조작하여 다양한 조건에서 문항 모수 추정 정확도를 조사하는 다양한 연구 조건을 생성했다. 결과는 특정한 표본 크기나 검사 길이보다 이 두 변수의 조합이 중요하며, 검사 길이와 적용 모델에 따라 150, 250, 350, 500, 750명의 수험자 표본을 사용하여 3가지 1차원 이분 IRT 모델에서 문항 모수를 정확하게 추정할 수 있음을 시사한다.

3 #

3.1 Intro

IRT requires this sample size to be large (around 1,000) in order to obtain accurate item-parameter estimates (Hambleton, 1989) that results in accurate estimates of ability, upon which some high-stakes decisions are made.
IRT는 정확한 문항 모수 추정치를 얻기 위해 표본 크기(약 1,000)가 커야 하며(Hambleton, 1989), 그 결과 일부 고부담 결정이 내려지는 능력에 대한 정확한 추정이 이루어진다.

As a result, Lord concluded that a minimum of 50 items and 1,000 examinees were required to estimate a parameters with high accuracy. With the support of subsequent studies (Patsula & Gessaroli, 1995; Tang, Way, & Carey, 1993; Yen, 1987; Yoes, 1995), 1,000 was taken as the minimum sample size required for accurate item-parameter estimation in IRT.
그 결과, Lord는 높은 정확도로 a 모수를 추정하려면 최소 50개 문항과 1,000명의 수험자가 필요하다고 결론지었다. 후속 연구들(Patsula & Gessaroli, 1995; Tang, Way, & Carey, 1993; Yen, 1987; Yoes, 1995)에서도 IRT에서 정확한 문항 모수 추정에 필요한 최소 표본 크기로 1,000개를 선택했다.

3.2 Discussion

Table 4. 결과 요약 (표본 크기 기준)

검사 길이	1PLM	2PLM	3PLM
10	150	750	750
20	150	500	750
30	150	250	350

4 참고

• Sahin, A., & Anil, D. (2017). The effects of test length and sample size on item parameters in item response theory.
• https://files.eric.ed.gov/fulltext/EJ1130806.pdf
• https://doi.org/10.12738/estp.2017.1.0270