İki ve Çok Kategorili Puanlanan Maddelerde Değişen Madde Fonksiyonlarının Karşılaştırılması

Abstract

Bu araştırmanın genel amacı, iki kategorili ve çok kategorili puanlanan maddelerde Değişen Madde Fonksiyonlarının (DMF) karşılaştırılmasıdır. Bu amaç doğrultusunda simülasyon çalışması gerçekleştirilmiş, I. tip hata ve istatistiksel güç oranları üzerinde çalışılmıştır. 20 madde için hem iki kategorili hem çok kategorili puanlama yapılmış ve böylelikle iki ayrı veri seti oluşturulmuştur. İki kategorili puanlama için, çok kategorili puanlamada beşinci adım olan 4'e 1 puan verilmiş, 3-2-1-0'a ise 0 puan verilmiştir. Simülasyon kapsamında örneklem büyüklüğü (600, 1200, 2400), örneklem büyüklüğü oranı (1:1, 1:2), DMF içeren madde yüzdesi (%10, %30, %50) ve DMF büyüklüğü (0.25, 0.50, 1.00, 1.50) manipüle edilen koşullar olarak ele alınırken, DMF biçimi (Tek Biçimli DMF) ve toplam madde sayısı (20) sabit koşullar olarak ele alınmıştır. Böylelikle 72 koşul kapsamında gerçekleştirilen araştırma için 100 tekrar gerçekleştirilmiştir. Verilerin türetilmesinde, iki kategorili veriler için Rasch, çok kategorili veriler için ise Kısmi Puan Modeli kullanılmıştır. WinGen programında madde parametreleri hesaplanmış, R programında "eRm" paketi yardımıyla veriler türetilmiştir. Hem iki kategorili hem çok kategorili puanlama kapsamında DMF belirlemek için LORDIF analizi kullanılmıştır. Araştırmanın temel amacı olan iki kategorili ve çok kategorili puanlama modelleri kapsamında DMF karşılaştırıldığında, genel olarak çok kategorili puanlama yapılması durumunda I. Tip hata oranlarının daha düşük, istatistiksel güç oranlarının ise daha yüksek olduğu belirlenmiştir. Bu doğrultuda DMF sonuçlarında puanlama modellerinin etkisi olduğu ve kısmi puan dikkate alındığında DMF sonuçlarının değişebileceği ortaya konulmuştur

The aim of this study was to compare Differential Item Functioning for two-category scored and multi-category scored items. For this purpose, simulation studies were performed; Type I error and statistical power ratios were studied. For 20 items, both two category and multi category scoring was done and thus two data sets were created. Two category scoring was done by scoring 4, which was the fifth step of multi-category scoring as 1 and scoring the other steps 3-2-1-0 as 0. Whereas sample size (600, 1200, 2400), sample size ratio (1:1, 1:2), percentage of items containing DIF (%10, %30, %50), and DIF magnitude (0.25, 0.50, 1.00, 1.50) were taken as manipulated conditions, DIF format (Uniform DIF) and total item number (20) were considered as stable conditions as part of simulation process. Hereby 100 repetitions were carried out for the research conducted under 72 conditions. In the process of data derivation, Rasch was used for two-category data, and Partial Credit Model was used for multiple-category data. Item parameters were calculated with WinGen program, and data was derived with “eRm” package of R program. d LORDIF analyses were used for two category and multiple category data. When DIF was compared within the scope of two category and multiple category scoring models, which is the main purpose of this study, it was seen that when multiple category scoring was done, ratio of Type I error was lower, but statistical power ratio was higher. In this context, it was observed that scoring models effect DIF results and DIF results may vary considering partial credit scores