Yıl 2018, Cilt 19, Sayı 1, Sayfalar 31 - 48 2018-04-30

Comparing the Scale Values Obtained from Pairwise Comparison Scaling Method and Rasch Analysis
İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması

Neşe GÜLER [1] , Mustafa İLHAN [2] , Gülşen TAŞDELEN TEKER [3]

120 172

This study aims to compare the scale values obtained from pairwise comparison scaling method and Rasch Analysis. The study was conducted with 185 university students in the Spring Semester of 2015-2016 academic year. The data were collected in two stages. At the first stage, the participants were asked to make a pairwise comparison of six subjects taught in the Measurement and Evaluation course and to say which one was more difficult for them. Using the data collected in this way, scaling was performed through pairwise comparisons. At the second stage, the participants were asked to grade the six subjects as easy, medium and difficult by taking the difficulty levels of the subjects into consideration. The data obtained from this application were analyzed according to the Rasch model. It was observed that the ordering made in relation to the difficulty levels of the subjects through pairwise comparison method and through Rasch analysis was the same. Besides ordering, the closeness of the difficulty levels of the subjects were also found similar in both methods. These results demonstrate that the scaling values calculated in pairwise comparison scaling method and in Rasch analysis are compatible.  

Bu araştırmada, ikili karşılaştırmalarla ölçekleme yöntemi ile Rasch analizinden elde edilen ölçek değerlerinin karşılaştırılması amaçlanmıştır. Araştırma 2015-2016 öğretim yılı bahar döneminde 185 üniversite öğrencisi üzerinde yürütülmüştür. Çalışmanın verileri iki adımda toplanmıştır. Birinci adımda katılımcılardan ölçme ve değerlendirme dersi kapsamında işlenen altı konuyu ikişerli karşılaştırmaları ve karşılaştırdıkları iki konudan hangisinin kendileri için daha zor olduğunu bildirmeleri istenmiştir. Bu şekilde toplanan veriler üzerinden ikili karşılaştırmalarla ölçekleme çalışması yürütülmüştür. İkinci adımda, katılımcıların aynı altı konuyu güçlük düzeyleri bakımından kolay, orta ve zor şeklinde derecelemeleri istenmiştir. Bu uygulamadan elde edilen veriler ise Rasch modeline göre analiz edilmiştir. Araştırmada, konuların güçlük düzeyleri için ikili karşılaştırmalarla ölçekleme yöntemi ve Rasch analizi sonucunda ulaşılan sıralamaların aynı olduğu görülmüştür. Sıralamanın yanı sıra konuların güçlük düzeylerine ilişkin eşit aralıklı ölçek düzeyinde hesaplanan değerlerin birbirlerine yakınlığı/uzaklığı da her iki yöntemde aynı çıkmıştır. Bu sonuçlar, ikili karşılaştırmalarla ölçekleme yönteminde ve Rasch analizinde hesaplanan ölçek değerlerinin tutarlı olduğunu ortaya koymaktadır.

  • Akın Arıkan, Ç., Uğurlu, S., & Atar, B. (2016). MIMIC, SIBTEST, lojistik regresyon ve Mantel-Haenszel yöntemleriyle gerçekleştirilen DMF ve yanlılık çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(1), 34-52. http://dx.doi.org/10.16986/HUJE.2015014226
  • Andrich, D. (1978a). A rating formulation for ordered response categories. Psychometrika, 43(9), 561-573. http://dx.doi.org/10.1007/BF02293814
  • Andrich, D. (1978b). Relationships between the Thurstone and Rasch approaches to item scaling. Applied Psychological Measurement, 2(3), 449-460. http://dx.doi.org/10.1177/014662167800200319
  • Anıl, D., Ertuna, L., & Uysal, İ. (2015). Türkiye’deki araştırma görevlilerinin mesleki sorunlarının ikili karşılaştırma yoluyla ölçeklenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(2), 279-292. http://dx.doi.org/10.21031/epod.14618
  • Anıl, D., & Güler, N. (2006). İkili karşılaştırmalar yöntemi ile ölçekleme çalışmasına bir örnek. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30, 30-36. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/722-published.pdf adresinden edinilmiştir.
  • Arık, R.S., & Kutlu, Ö. (2013). Öğretmenlerin ölçme ve değerlendirme alanı yeterliklerinin yargıcı kararlarına dayalı ölçeklenmesi. Eğitim Bilimleri Araştırmaları Dergisi, 3(2), 163-196. http://dx.doi.org/10.12973/jesr.2013.3210a
  • Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
  • Atılgan, H. (Ed.). (2013). Eğitimde ölçme ve değerlendirme. Ankara: Anı.
  • Bahar, M., Nartgün, Z., Durmuş, S., & Bıçak, B. (2010). Geleneksel-tamamlayıcı ölçme ve değerlendirme teknikleri. Ankara: Pegem Akademi.
  • Baker, F.B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
  • Başol, G. (2013). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
  • Baykul, Y. (1996). İstatistik metotlar ve uygulamalar. Ankara: Lazer Ofset.
  • Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: Pegem Akademi.
  • Brentari, E., & Golia, S. (2008). Measuring job satisfaction in the social services sector with the Rasch model. Journal of Applied Measurement, 9(1), 45-56. Retrieved from https://www.researchgate.net/publication/5668940_Measuring_job_satisfaction_in_the_social_services_sector_with_the_Rasch_model.
  • Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Florida: Holt, Rinehart and Winston. Çıkrıkçı Demirtaşlı, N. (Ed.). (2012). Eğitimde ölçme ve değerlendirme. Ankara: Öz Baran Ofset.
  • DeMars, C. (2010). Item response theory. Oxford, UK: Oxford University.
  • Doğan, N. (2002). Klasik test teorisi ve örtük özellikler kuramının örneklemeler bağlamında karşılaştırılması. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
  • Doğan, N., & Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel Haenszel, ki‐kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35(156), 3-16. http://egitimvebilim.ted.org.tr/index.php/EB/article/viewFile/679/130 adresinden edinilmiştir.
  • Engelhard, G. (1984). Thorndike, Thurstone, and Rasch: A comparison of their methods of scaling psychological and educational tests. Applied Psychological Measurement, 8(1), 21-38. http://dx.doi.org/10.1177/014662168400800104
  • Erkuş, A. (2012). Psiklojide ölçme ve ölçek geliştirme-I. Ankara: Pegem Akademi.
  • Ertoprak, D.G. (2015). Üniversite tercihlerinde etkili olabilecek özellikleri belirlemeye yönelik bir ölçekleme çalışması. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 4(2), 153-174. http://dx.doi.org/10.17539/aej.96310
  • Gömleksiz, M., & Erkan, S. (Ed.). (2010). Eğitimde ölçme ve değerlendirme. Ankara: Nobel.
  • Güler, N. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
  • Güler, N., & Anıl, D. (2009). Scaling through pair-wise comparison method in required characteristics of students applying for post graduate programs. International Journal of Human Sciences, 6(1), 627-639. Retrieved from https://j-humansciences.com/ojs/index.php/IJHS/article/download/673/365.
  • Hall, R. (2008). Applied social research: Planning, designing and conducting real-world research. South Yarra, Australia: Palgrave Macmillan.
  • Jackson, S. (2008). Research methods: A modular approach. Belmont, CA: Thompson Wadsworth.
  • Jansen, P.G.W. (1984). Relationships between the Thurstone, Coombs, and Rasch approaches to item scaling. Applied Psychological Measurement, 8(4), 373-383. http://dx.doi.org/10.1177/014662168400800401
  • Johnson, B., & Christensen, L. (2014). Educational research: Quantitative, qualitative, and mixed approaches. Thousand Oaks, CA: Sage.
  • Kan, A. (2008a). Yargıcı kararlarına dayalı ölçekleme yöntemlerinin karşılaştırılması üzerine ampirik bir çalışma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 186-194. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/552-published.pdf adresinden edinilmiştir.
  • Kan, A. (2008b). Psikolojik değişkenleri ölçmek için kullanılan ölçekleme yaklaşımları üzerine bir karşılaştırma. Eğitimde Kuram ve Uygulama, 4(1), 2-18. http://eku.comu.edu.tr/article/download/1044000044/1044000127 adresinden edinilmiştir.
  • Köse, İ.A., & Öztemur, B. (2014). Kayıp veri ele alma yöntemlerinin t-testi ve anova parametreleri üzerine etkisinin incelenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 14(1), 400-412. http://dx.doi.org/10.17240/aibuefd.2014.14.1-5000091519
  • Linacre, J.M. (1989). Many-facet Rasch measurement. Chicago: MESA.
  • Linacre, J.M. (2002). Optimizing rating scale category effectiveness. Journal of Applied Measurement, 3(1), 85-106. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.424.2811&rep=rep1&type=pdf.
  • Linacre, J.M. (2012). Many-facet Rasch measurement: Facets tutorial. Retrieved from http://www.winsteps.com/a/ftutorial2.pdf.
  • Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. Retrieved from http://www.winsteps.com/a/facets-manual.pdf.
  • Lunz, M.E., & Stahl, J.A. (1990, April). Severity of grading across time periods. Paper presented at the Annual Meeting of the American Educational Research Association, Boston. Retrieved from http://files.eric.ed.gov/fulltext/ED317602.pdf.
  • Lunz, M.E., Wright, B.D., & Linacre, J.M. (1990). Measuring the impact of judge severity on examination scores. Applied Measurement in Education, 3(4), 331-345. http://dx.doi.org/10.1207/s15324818ame0304_3
  • Martella, R.C., Nelson, J.R., Morgan, R.L., & Marchand Martella, N.E. (2013). Understanding and interpreting educational research. New York: The Guilford.
  • Masters, G.N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. http://dx.doi.org/10.1007/BF02296272
  • Myford, C.M., & Wolfe, E.W. (2003). Detecting and measuring rater effects using many-facet Rasch measurement: Part I. Journal of Applied Measurement, 4(4), 386-422. Retrieved from https://www.researchgate.net/publication/9069043_Detecting_and_Measuring_Rater_Effects_Using_Many-Facet_Rasch_Measurement_Part_I.
  • Nakamura, N. (2002). Teacher assessment and peer assessment in practice. Educational Studies, 44, 143. 204-215. Retrieved from https://ia800200.us.archive.org/4/items/ERIC_ED464483/ERIC_ED464483.pdf.
  • O’Neill, T.R., & Lunz, M.E. (1996, April). Examining the invariance of rater and project calibrations using a multi-facet Rasch model. Paper
  • Presented at the Annual Meeting of the American Educational Research Association, New York. Retrieved from http://files.eric.ed.gov/fulltext/ED398284.pdf.
  • Polat, B., & Göksel, H.G. (2014). Öğretmen adaylarının sosyal aktivite tercihlerinin ikili karşılaştırmalı ölçekleme yöntemiyle belirlenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 88-100. http://epodder.dergipark.gov.tr/download/article-file/65953 adresinden edinilmiştir.
  • Powell, R.R. (1997). Basic research methods for librarians. Greenwich, CT: Ablex.
  • Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen, Denmark: Danish Institute for Educational Research.
  • Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493. http://dx.doi.org/10.1177/0265532208094273
  • Sudweeks, R.R., Reeve, S., & Bradshaw, W.S. (2005). A comparison of generalizability theory and many-facet Rasch measurement in an analysis of college sophomore writing. Assessing Writing, 9(3), 239-261. http://dx.doi.org/10.1016/j.asw.2004.11.001
  • Şahin Kürşad & Nartgün (2015). Kayıp veri sorununun çözümünde kullanılan farklı yöntemlerin ölçeklerin geçerlik ve güvenirliği bağlamında karşılaştırılması. Eğitimde ve psikolojide ölçme ve değerlendirme dergisi, 6(2), 25-267. http://dx.doi.org/10.21031/epod.95917
  • Tan, Ş. (2015). Öğretimde ölçme ve değerlendirme KPSS el kitabı. Ankara: Pegem Akademi.
  • Tekindal, S. (2009). Duyuşsal özelliklerin ölçülmesi için araç oluşturma. Ankara: Pegem Akademi.
  • Thurstone, L.L. (1927). A law of comparative judgment. Psychological Review, 34(4), 273-286. http://dx.doi.org/10.1037/h0070288
  • Torgerson, W.S. (1958). Theory and methods of scaling. Newyork: John Wiley & Sons Inc.
  • Turgut, M.F., & Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM.
  • Wainer, H., Fairbank, D.T., & Hough, R.L. (1978). Predicting the impact of simple and compound life change events. Applied Psychological Measurement, 2(3), 311-320. http://dx.doi.org/10.1177/014662167800200301
  • Walker, E.R., Engelhard, G., & Thompson, N.J. (2012). Using Rasch measurement theory to assess three depression scales among adults with epilepsy. Seizure, 21(6), 437-443. http://dx.doi.org/10.1016/j.seizure.2012.04.009
  • Wright, B.D. & Linacre, J.M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8, 370. Retrieved from http://www.rasch.org/rmt/rmt83b.htm.
  • Wright, B.D. & Masters, G. (1982). Rating scale analysis: Rasch measurement. Chicago: MESA.
Birincil Dil tr
Konular Sosyal
Dergi Bölümü Makaleler
Yazarlar

Yazar: Neşe GÜLER

Yazar: Mustafa İLHAN

Yazar: Gülşen TAŞDELEN TEKER

Bibtex @araştırma makalesi { inuefd400386, journal = {İnönü Üniversitesi Eğitim Fakültesi Dergisi}, issn = {1300-2899}, eissn = {2149-9683}, address = {İnönü Üniversitesi}, year = {2018}, volume = {19}, pages = {31 - 48}, doi = {10.17679/inuefd.400386}, title = {İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması}, key = {cite}, author = {GÜLER, Neşe and İLHAN, Mustafa and TAŞDELEN TEKER, Gülşen} }
APA GÜLER, N , İLHAN, M , TAŞDELEN TEKER, G . (2018). İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 19 (1), 31-48. DOI: 10.17679/inuefd.400386
MLA GÜLER, N , İLHAN, M , TAŞDELEN TEKER, G . "İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması". İnönü Üniversitesi Eğitim Fakültesi Dergisi 19 (2018): 31-48 <http://dergipark.gov.tr/inuefd/issue/32017/400386>
Chicago GÜLER, N , İLHAN, M , TAŞDELEN TEKER, G . "İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması". İnönü Üniversitesi Eğitim Fakültesi Dergisi 19 (2018): 31-48
RIS TY - JOUR T1 - İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması AU - Neşe GÜLER , Mustafa İLHAN , Gülşen TAŞDELEN TEKER Y1 - 2018 PY - 2018 N1 - doi: 10.17679/inuefd.400386 DO - 10.17679/inuefd.400386 T2 - İnönü Üniversitesi Eğitim Fakültesi Dergisi JF - Journal JO - JOR SP - 31 EP - 48 VL - 19 IS - 1 SN - 1300-2899-2149-9683 M3 - doi: 10.17679/inuefd.400386 UR - http://dx.doi.org/10.17679/inuefd.400386 Y2 - 2017 ER -
EndNote %0 İnönü Üniversitesi Eğitim Fakültesi Dergisi İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması %A Neşe GÜLER , Mustafa İLHAN , Gülşen TAŞDELEN TEKER %T İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması %D 2018 %J İnönü Üniversitesi Eğitim Fakültesi Dergisi %P 1300-2899-2149-9683 %V 19 %N 1 %R doi: 10.17679/inuefd.400386 %U 10.17679/inuefd.400386
ISNAD GÜLER, Neşe , İLHAN, Mustafa , TAŞDELEN TEKER, Gülşen . "İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması". İnönü Üniversitesi Eğitim Fakültesi Dergisi 19 / 1 (Nisan 2018): 31-48. http://dx.doi.org/10.17679/inuefd.400386