Yıl 2018, Cilt 9, Sayı 3, Sayfalar 239 - 257 2018-09-29

The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation
Boyutlar Arası Korelasyon ile Madde Ayırt Ediciliği Arasındaki Etkileşimin Parametre Kestirimi Üzerine Etkisi

Sakine GÖÇER ŞAHİN [1] , Derya ÇAKICI ESER [2] , Selahattin GELBAL [3]

96 86

There are some studies in the literature that have considered the impact of modeling multidimensional mixed structured tests as unidimensional. These studies have demonstrated that the error associated with the discrimination parameters increases as the correlation between dimensions increases. In this study, the interaction between items’ angles on coordinate system and the correlations between dimensions was investigated when estimating multidimensional tests as unidimensional. Data were simulated based on two dimensional, and two-parameter compensatory MIRT model. Angles of items were determined as 0.15o; 0.30o; 0.45o; 0.60o and 0.75orespectively. The correlations between ability parameters were set to 0.15, 0.30, 0.45, 0.60 and 0.75 respectively, which are same with the angles of discrimination parameters. The ability distributions were generated from standard normal, positively and negatively skewed distributions.  A total of 75 (5 x 5 x 3) conditions were studied: five different conditions for the correlation between dimensions; five different angles of items and three different ability distributions. For all conditions, the number of items was fixed at 25 and the sample size was fixed at n = 2,000. Item and ability parameter estimation were conducted using BILOG. For each condition, 100 replications were performed. The RMSE statistic was used to evaluate parameter estimation errors, when multidimensional response data were scaled using a unidimensional IRT model. Based on the findings, it can be concluded that the pattern of RMSE values especially for discrimination parameters are different from the existing studies in the literature in which multidimensional tests were estimated as unidimensional.  


Alan yazında karışık yapılı çok boyutlu testlerin tek boyutlu olarak kestirilmesi ile ilgili bazı çalışmalar bulunmaktadır. Bu çalışmalarda boyutlar arası korelasyon arttıkça ayırt edicilik indeksine ait hataların da arttığı belirtilmiştir. Bu çalışmada çok boyutlu yapıların tek boyutlu olarak kestirildiği durumda maddelerin x ekseniyle arasındaki açı ile boyutlar arası korelasyonun etkileşiminin madde ve birey parametrelerinin kestirimi üzerine etkisi araştırılmıştır. Çalışmada SAS\IML aracılığıyla üretilen iki boyutlu 2PLM telafisel modeldeki veri setleri kullanılmıştır. Araştırmada a parametrelerinin x ekseniyle yaptığı açılar sırasıyla 0.15o; 0.30o; 0.45o; 0.60o ve 0.75o olacak şekilde değişimlenmiştir. Boyutlar arası korelasyonlar da maddelerin açıları ile aynı olacak şekilde 0.15; 0.30; 0.45; 0.60 ve 0.75 alınmıştır. Yetenek dağılımları ise standart normal, sağa ve sola çarpık dağılım şeklinde belirlenmiştir. Böylece, 5 farklı madde açısı * 5 farklı boyutlar arası korelasyon *3 farklı yetenek dağılımı olmak üzere 75 (5x5x3) koşullu bir araştırma deseni tasarlanmıştır. Veri setlerinde madde sayısı 25 ve birey sayısı 2000 olarak sabit tutulmuştur. Ele alınan her bir koşula ilişkin 100 tekrar yapılmıştır. Elde edilen her bir veri seti tek boyutlu olarak kestirilmiştir. Parametrelerin kestirilmesinde BILOG programından yararlanılmıştır. Sonuçların değerlendirilmesinde RMSE istatistiği kullanılmıştır. Genel olarak özellikle ayırt edicilik indeksi için elde edilen sonuçların çok boyutlu verilerin tek boyutlu olarak kestirildiği çalışmalarla ilgili alan yazından farklı bir örüntü sergilediği söylenebilir.


 

  • Ansley, T. N., & Forsyth, R. A. (1985). An examination of the characteristics of unidimensional IRT parameter estimates derived from two-dimensional data. Applied Psychological Measurement, 9(1), 37-48.
  • Ackerman, T.A. (1989). Unidimensional IRT calibration of compensatory and noncompensatory multidimensional items. Applied Psychological Measurement, 13(2), 113-27.
  • Ackerman, T.A., Gierl, M.J., & Walker, C.M. (2003). Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice: MIRT Instructional Module.
  • Bulut, O. (2013). Between-person and within-person subscore reliability: Comparison of unidimensional and multidimensional IRT models (Doctoral Dissertation). Available from ProQuest Dissertations and Theses database (No. 3589000).
  • Doody, E. N. (1985, April). Examining the effects of multidimensional data on ability and item parameter estimation using the three-parameter logistic model. Paper presented at the annual meeting of the American Educational Research Association, Chicago.
  • Drasgow, F., & Parsons, C. K. (1983). Application of unidimensional item response theory models to multidimensional data. Applied Psychological Measurement, 7, 189-199.
  • Gocer Sahin (2015). Yarı karışık yapılı çok boyutlu yapıların tek boyutlu olarak ele alınması durumunda kestirilen parametrelerin incelenmesi (Doctoral Dissertation). Available from YOK Dissertations and Theses database (No. 454926).
  • Gocer Sahin S., Walker, C. M., & Gelbal, S. (2015). The Impact of Model Misspecification with Multidimensional Test Data (pp.133-44). In van der Ark, L. A., Bolt, D. M., Chow, S. M., Douglas, J. A., and Wang, W. C. (Eds.), Quantitative Psychology Research: The 79th Annual Meeting of the Psychometric Society, New York, NY: Springer.
  • Harrison, D. A. (1986). Robustness of IRT parameter estimation to violations of the unidimensionality assumption. Journal of Educational Statistics, 11(2), 91-115.
  • Kahraman, N. (2013) Unidimensional interpretations for multidimensional test items. Journal of Educational Measurement, 50(2), 227-246.
  • Kirisci, L., Hsu, T., & Yu, L. (2001). Robustness of item parameter estimation programs to assumptions of unidimensionality and normality. Applied Psychological Measurement, 25(2), 146-162.
  • Leucht, R. M & Miller, T. R. (1992). Unidimensional calibrations and interpretations of composite traits for multidimensional tests. Applied Psychological Measurement, 16, 279-293.
  • Reckase, M. D. (2009). Multidimensional item response theory (statistics for social and behavioral sciences). New York: Springer.
  • Reckase, M.D., Ackerman, T.A., & Carlson, J.E. (1988). Building a unidimensional test using multidimensional items. Journal of Educational Measurement, 25, 193-203.
  • Reckase, M.D., & McKinley, R. L. (1991). The discriminating power of items that measure more than one dimension. Applied Psychological Measurement, 15(4), 361-373.
  • Sheng Y. & Wikle C. K. (2007). Comparing multidimensional and unidimensional item response theory models. Educational and Psychological Measurement, 68(3), 413-430.
  • Zhang, J. (2005). Estimating multidimensional item response models with mixed structure (ETS Research Report 05-04). Princeton, NJ: Educational Testing Service.
  • Zhang, B. (2008). Application of unidimensional item response models to tests with items sensitive to secondary dimension. The Journal of Experimental Education, 77(2), 147-166.
  • Zhang, J. (2012). Calibration of response data using MIRT models with simple and mixed structures. Applied Psychological Measurement, 36(5), 375-398.
Birincil Dil en
Konular Sosyal
Yayımlanma Tarihi Sonbahar
Dergi Bölümü Makaleler
Yazarlar

Orcid: orcid.org/0000-0002-6914-354X
Yazar: Sakine GÖÇER ŞAHİN
Ülke: Turkey


Orcid: orcid.org/0000-0002-4152-6821
Yazar: Derya ÇAKICI ESER
Kurum: Kırıkkale Üniversitesi
Ülke: Turkey


Orcid: orcid.org/0000-0001-5181-7262
Yazar: Selahattin GELBAL
Kurum: Hacettepe Üniversitesi
Ülke: Turkey


Bibtex @araştırma makalesi { epod402992, journal = {Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi}, issn = {1309-6575}, eissn = {1309-6575}, address = {Eğitimde ve Psikolojide Ölçme ve Değerlendirme Derneği}, year = {2018}, volume = {9}, pages = {239 - 257}, doi = {10.21031/epod.402992}, title = {The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation}, key = {cite}, author = {GELBAL, Selahattin and GÖÇER ŞAHİN, Sakine and ÇAKICI ESER, Derya} }
APA GÖÇER ŞAHİN, S , ÇAKICI ESER, D , GELBAL, S . (2018). The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 9 (3), 239-257. DOI: 10.21031/epod.402992
MLA GÖÇER ŞAHİN, S , ÇAKICI ESER, D , GELBAL, S . "The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation". Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 9 (2018): 239-257 <http://dergipark.gov.tr/epod/issue/39489/402992>
Chicago GÖÇER ŞAHİN, S , ÇAKICI ESER, D , GELBAL, S . "The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation". Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 9 (2018): 239-257
RIS TY - JOUR T1 - The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation AU - Sakine GÖÇER ŞAHİN , Derya ÇAKICI ESER , Selahattin GELBAL Y1 - 2018 PY - 2018 N1 - doi: 10.21031/epod.402992 DO - 10.21031/epod.402992 T2 - Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi JF - Journal JO - JOR SP - 239 EP - 257 VL - 9 IS - 3 SN - 1309-6575-1309-6575 M3 - doi: 10.21031/epod.402992 UR - http://dx.doi.org/10.21031/epod.402992 Y2 - 2018 ER -
EndNote %0 Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation %A Sakine GÖÇER ŞAHİN , Derya ÇAKICI ESER , Selahattin GELBAL %T The Interaction Effect of the Correlation between Dimensions and Item Discrimination on Parameter Estimation %D 2018 %J Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi %P 1309-6575-1309-6575 %V 9 %N 3 %R doi: 10.21031/epod.402992 %U 10.21031/epod.402992
ISNAD GÖÇER ŞAHİN, Sakine , ÇAKICI ESER, Derya , GELBAL, Selahattin . "Boyutlar Arası Korelasyon ile Madde Ayırt Ediciliği Arasındaki Etkileşimin Parametre Kestirimi Üzerine Etkisi". Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 9 / 3 (Eylül 2018): 239-257. http://dx.doi.org/10.21031/epod.402992