Uluslararası Öğrenci Değerlendirme Programı (PISA - 2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi
Investigation of measurement invariance of literacy tests in the Programme for International Student Assessment (PISA - 2012)
- Tez No: 419283
- Danışmanlar: DOÇ. DR. ÖMAY ÇOKLUK
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Değişen madde fonksiyonu, Fen okuryazarlığı, Matematik okuryazarlığı, Okuma becerileri, Uluslararası Öğrenci Değerlendirme Programı, Ölçme değişmezliği, Differential item function, Scientific literacy, Mathematical literacy, Reading skills, Programme for International Student Assesment, Measurement invariance
- Yıl: 2016
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu araştırmada, PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testlerinin dil değişkenine göre ölçme değişmezliğinin incelenmesi amaçlanmıştır. Araştırma betimsel bir araştırma olup PISA 2012 uygulamasına katılan Avustralya, Fransa, Şangay-Çin ve Türkiye örneklemlerinde 3 no'lu kitapçığı (yayınlanan maddelerin en fazla sayıda ve üç alandan da maddelerin bulunduğu tek kitapçık) alan 2149 öğrenciden elde edilen veriler üzerinden yürütülmüştür. Testlerin farklı dil formlarına ilişkin, faktör yapılarının değişmezliği Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ile maddelerin değişen madde fonksiyonu gösterme dıurumları ise Genelleştirilmiş Aşamalı Doğrusal Modelleme (GADM), Simultaneous Item Bias Test (SIBTEST) ve Madde Tepki Kuramı'na dayalı Olabilirlik Oran (MTK-OO) teknikleri ile incelenmiştir. Bununla birlikte olası yanlılık kaynaklarını belirlemek üzere uzman görüşlerine başvurulmuştur. ÇGDFA sonuçlarına göre PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testleri dil değişkenine göre yapısal değişmezlik gösterirken metrik değişmezlik göstermemektedir. Her üç DMF belirleme tekniğine göre ve en az B düzeyinde DMF gösteren maddeler DMF'li kabul edilmiştir. Buna göre DMF analizleri sonucunda matematik ve fen okuryazarlığı ile okuma becerileri testlerinde dil değişkenine göre, yapılan ikili karşılaştırmalar sonucu DMF'li olarak kabul edilen maddeler sırasıyla testlerin ortalama %35'i, %34'ü ve %22'sini oluştururken, ölçme değişmezliği gösteren maddeler ise sırasıyla testlerin %24'ü, %7'si ve %36'sını oluşturmaktadır. Dil gruplarına göre her üç alanda da en fazla DMF'li madde İngilizce ve Çince formu alan gruplar arasında belirlenmiştir. Yanlılık çalışması sonucu, maddede yer alan sözcük ya da ifadelerin farklı anlamda kullanımı, madde içeriğine bir dil grubunun aşina olması ve çeviriye bağlı olarak maddelerin farklılaşması olası yanlılık kaynağı olarak belirlenmiştir.
Özet (Çeviri)
In this study, it was aimed at examining the measurement invariance of mathematical and scientific literacy tests and subtests of reading skills of PISA – 2012 in terms of the language variable. The research was designed as a descriptive study. The study was conducted on the data obtained from the test booklet 3 of PISA 2012 (it is the only booklet that had the highest number of items published and also had items from all of the three parts) which was responded by 2149 students from Australia, France, Shanghai – China and Turkey. The invariance of factor structures was examined by Multi-Group Confirmatory Factor Analysis (MGCFA) while the differential item functioning was examined by Hierarchical Generalized Linear Modeling (HGLM), Simultaneous Item Bias Test (SIBTEST) and Likelihood Ratio (LR) based on Item Response Theory (IRT) in relation to language forms of the tests. In addition to this, experts' opinions were asked in order to determine the possible bias sources. According to MGCFA results, PISA – 2012 mathematical and scientific literacy and subtests of reading skills demonstrated structural invariance while there was no metric invariance. The items which demonstrated at least B level DIF according to all three DIF technique results were accepted as showing DIF. According to DIF analyses, the DIF items comprised of 35%, 34% and 22% of mathematical and scientific literacy tests and subtests of reading skills respectively while the items showing measurement invariance comprised of 24%, 7% and 36% of the tests in terms of language variable. The highest number of DIF items in all three parts was determined between the groups that took English and Chinese forms. As a result of bias analysis, some possible bias sources were as follows; using the words or phrases in different meanings in the items, being familiar to the item content in favor of a language group and the differentiation of the items depending on the translation.
Benzer Tezler
- Uluslararası sermaye ihracı ve ithalindeki nedensellik ve Türkiye'de yabancı sermaye
Başlık çevirisi yok
FARUK ESKİOĞLU
- Avrupa Topluluğu'nun bürokratik yapısı
Başlık çevirisi yok
GÜNİZ ODYAKMAZ
Yüksek Lisans
Türkçe
1989
Uluslararası İlişkilerİstanbul ÜniversitesiUluslararası İlişkiler Ana Bilim Dalı
PROF. DR. BENER KARAKARTAL