Değişen madde fonksiyonu ve ölçme değişmezliği ile matematik okuryazarlığı test puanlarında olası yanlılığın incelenmesi
Examination of possible bias in mathematical literacy test scores with differential item functioning and measurement invariance
- Tez No: 931201
- Danışmanlar: DOÇ. DR. GÜÇLÜ ŞEKERCİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 193
Özet
Bu araştırma kapsamında, matematik okuryazarlığı becerilerinin ölçülmesindeki olası yanlılıklar, DMF ve Ölçme Değişmezliği analizleri aracılığı ile incelenmiştir. Çalışma süresince, Matematik okuryazarlığı becerilerinin ölçüldüğü bir testte yer alan maddeler için oluşturulan cinsiyet alt grupları (kız ve erkek öğrenciler), yerleşim yeri alt grupları (büyükşehir ve şehirlerden katılan öğrenciler) ve okul türü alt grupları (özel ve devlet okulları) arasında ölçme değişmezliğinin sağlanıp sağlanamadığı ve maddelerin bahsi geçen değişkenlere göre DMF gösterip göstermediğinin incelendiği altı temel araştırma sorusu ele alınmıştır. Bütüncül bir yöntem içeren bu çalışmada, 2024 yılında Türkiye'nin çeşitli illerinde uygulanan Matbeg sınavının Matematik alt testine katılım sağlayan 7179 ortaokul öğrencisinden (5, 6, 7 ve 8. sınıf düzeyleri) oluşan bir çalışma grubu incelenmiştir. Madde analizleri kapsamında, Madde Güçlük İndeksleri ve Madde Ayırt Edicilik İndeksleri hesaplanmıştır. DMF analizleri R yazılımında difR paketi kullanılarak, Klasik Test Kuramı'na (KTK) dayalı Mantel-Haenszel Tekniği ve Madde Tepki Kuramı'na (MTK) dayalı Lord'un Ki-Kare İstatistiği Tekniği ile gerçekleştirilmiştir. Cinsiyet, yerleşim yeri ve okul türü alt grupları arasında ölçme değişmezliği incelemesi, Açımlayıcı Faktör Analizi (AFA), Doğrulayıcı Faktör Analizi (DFA) ve Ölçme Değişmezliği için temel varsayımların karşılanmasını içeren sıralı adımları takiben Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) yolu ile gerçekleştirilmiştir. Bulgular, cinsiyet değişkeni için 5., 6., 7 ve 8. sınıflarda tam ölçme değişmezliğinin sağlandığını göstermiştir. Her iki DMF belirleme tekniğinden elde edilen DMF sonuçlarına göre ise herhangi bir cinsiyet grubuna yönelik bir yanlılık tespit edilmemiştir. Yerleşim yeri değişkenine ilişkin olarak, 5. sınıflar için tam ölçme değişmezliği sağlanırken, 6. sınıflar için yapısal değişmezlik sağlanmıştır. DMF analizi sonuçlarına göre DMF içeren maddelerin iki sınıf kademesinde de genel olarak şehirlerden katılım sağlayan öğrenciler lehine olduğunu göstermiştir. Okul türü değişkeni ile ilgili olarak, 5. sınıflar için tam ölçme değişmezliği sağlanırken, 6.sınıflar için yapısal değişmezlik sağlanmış, 7. sınıflar için ise zayıf faktöriyel değişmezlik sağlanmıştır. DMF analizi sonuçları, dengeli bir yanlılık dağılımı sergilerken, özel okul veya devlet okulu öğrencileri için önemli bir avantaj gözlemlenmemiştir. Elde edilen bulgulara göre, belirli sınıf düzeylerinde çoğunlukla şehirlerden katılım sağlayan öğrenciler ve devlet okullarında öğrenim görmekte olan öğrenciler lehine olası yanlılıklar tespit edilmiştir. DMF analiz sonuçlarının birden fazla teknik kullanılarak karşılaştırılması, olası madde yanlılığının kapsamlı bir şekilde tespit edilmesi için farklı yöntemlerin kullanılması gerekliliğinin altını çizmektedir. Bu araştırma bulgularına dayanılarak, madde yanlılığını etkileyen potansiyel faktörler belirlenmiş ve gelecekte yapılacak araştırmalar için önerilere yer verilmiştir.
Özet (Çeviri)
Within the scope of this research, potential biases in the measurement of mathematical literacy skills were examined through DIF and Measurement Invariance analyses. Throughout the study, six core research questions were addressed, focusing on whether measurement invariance was achieved and whether the items exhibited DIF across gender subgroups (female and male students), residential area subgroups (students from metropolitan and urban regions), and school type subgroups (private and state schools) for item scores from a test measuring mathematical literacy skills. In this study, which utilized a comprehensive methodology, a study group consisting of 7179 middle school students (from 5th, 6th, 7th, and 8th-grades) who participated in the Mathematics subtest of the Matbeg exam administered in various provinces of Turkey in 2024 was examined. As part of the item analysis, Item Difficulty Indices and Item Discrimination Indices were calculated. DIF analyses were conducted using the difR package in R software, employing the Mantel-Haenszel Technique based on Classical Test Theory (CTT) and Lord's Chi-Square Statistic Technique based on Item Response Theory (IRT). The examination of measurement invariance across gender, residential area, and school type subgroups was conducted through a systematic, stepwise procedure which entailed the use of Exploratory Factor Analysis (EFA) and Confirmatory Factor Analysis (CFA) to establish the factorial structure, followed by Multigroup Confirmatory Factor Analysis (MGCFA) to assess measurement invariance, contingent upon the satisfaction of the fundamental assumptions necessary for such analyses. The findings revealed that full measurement invariance is achieved across gender groups for all grades (5th, 6th, 7th, and 8th). DIF results from both techniques revealed no gender-related bias. As for the residential area variable, full measurement invariance is achieved for the 5th grade, while structural invariance is established for the 6th grade, with DIF analyses indicating a general favor towards students from urban areas in both grades. Regarding school type, full measurement invariance is achieved for the 5th grade, structural invariance for the 6th grade, and weak factorial invariance for the 7th grade. DIF results show a balanced distribution of bias, with no notable advantage for either private or state school students. The findings suggest that potential biases favor urban and public school students in certain grades. The comparison of DIF results across multiple techniques highlights the necessity of employing diverse methods to comprehensively identify item bias. Based on these findings, factors potentially influencing item bias are identified, and recommendations are provided for future research.
Benzer Tezler
- Uluslararası Öğrenci Değerlendirme Programı (PISA - 2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi
Investigation of measurement invariance of literacy tests in the Programme for International Student Assessment (PISA - 2012)
BETÜL KARAKOÇ ALATLI
Doktora
Türkçe
2016
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. ÖMAY ÇOKLUK
- 2019 TIMSS ve eTIMSS 4. ve 8. sınıf matematik ve fen bilimleri başarı testlerinin ölçme değişmezliği ve madde yanlılığının incelenmesi
An investigation of measurement invariance and differantial item functioning (DIF) for TIMSS-2019 and eTIMSS-2019 4th and 8th grade mathematc and science achievement test according to countries
MURAT YALÇINKAYA
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HAKAN ATILGAN
- Liselere geçiş sistemi 2019 matematik testindeki maddelerin cinsiyet ve okul türüne göre madde yanlılığının incelenmesi
Examination of item bias based on gender and school type in the mathematics test of the 2019 high school entrance system
SERAP ÇATMA
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. AYFER SAYIN
- Matematikte akademik yılmazlığı yordayan değişkenlerin incelenmesi: Bir açıklayıcı madde tepki modellemesi uygulaması
Investigation of variables predicting academic resilience in mathematics: An explanatory item response modeling application
NAİME ŞAHİN BALOĞLU
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimBolu Abant İzzet Baysal ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. SEVİLAY KİLMEN
- TIMSS-2019 bilgisayar kullanımına ilişkin maddelerin ölçme değişmezliği ve değişen madde fonksiyonu açısından incelenmesi
Examinatıon of TIMSS-2019 computer use items in terms of measurement invariance and changing item function
ZEYNEP NEVESER KIZILÇİM
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. SEVDA ÇETİN