Kısa yanıtlı maddelerde farklı ağırlıklı puanlanma yöntemlerinin testin psikometrik özellikleri açısından incelenmesi
Investigation of different weighted scoring methods in short-answered items in terms of psychometric properties of the test
- Tez No: 869531
- Danışmanlar: PROF. DR. KAAN ZÜLFİKAR DENİZ
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 152
Özet
Ölçme ve değerlendirme uygulamalarındaki temel çalışma alanlarından test geliştirme ve puanlama çalışmaları, cevaplayıcılara ilişkin toplanan bilginin düzeyini ve özellikle elde edilen puanlar yoluyla verilen kararları etkileyebilmektedir. Bu araştırmada geliştirilen kısa yanıtlı bir testin yanıtlarının; önce geleneksel puanlama (GP) sonra madde güçlük indekslerine dayalı ağırlıklı puanlama (MGİAP), olası cevapların ağırlıklandırılmasına dayalı puanlama (OCAP) ve çoklu ağırlıklandırmaya dayalı puanlama (ÇAP) yöntemleriyle puanlanması durumunda testin psikometrik özelliklerinin incelenmesi amaçlanmıştır. Araştırma verisi, ortaokul yedinci sınıf matematik dersine ilişkin 16 maddelik testin 2022-2023 öğretim yılında Ankara ilinde öğrenim gören 636 öğrenciye uygulanmasıyla elde edilmiştir. Testin puanlanmasında önce GP, ardından araştırmada incelenen OCAP yönteminin kullanılması durumunda klasik test ve madde tepki kuramlarına göre öncelikle test puanlarının geçerliğinin daha sonra test puanlarına ilişkin güvenirlik kestirimlerinin nasıl değişmekte olduğu araştırılmıştır. Ayrıca araştırma verisinden rastgele alt örnekleme yoluyla bu iki puanlama yöntemine ilişkin çok sayıda farklı veri seti oluşturularak elde edilen sonuçların genellenebilirliği incelenmiştir. Araştırmanın klasik test kuramına dayalı bulgularına göre, OCAP yönteminin kullanılmasının yapı geçerliği, uygunluk geçerliği ve güvenirlik bakımından genel olarak avantaj sağlayabileceği görülmüştür. Madde tepki kuramında OCAP yönteminin kullanıldığı durumda, cevaplayıcılar için daha fazla bilgi elde edildiği sonucuna ulaşılmıştır. Araştırma kapsamında üretilen veriyle yapılan geçerlik ve güvenirlik çalışmaları, madde faktör yükleri dışındaki tüm sonuçların orijinal verinin kullanıldığı durumdaki sonuçlarla uyumlu olduğunu göstermiştir. Son olarak OCAP yönteminin yanında diğer iki ağırlıklı puanlama yönteminin kullanılması durumunda testin güvenirliğinin ve geçerliğinin nasıl etkilendiği araştırılmıştır. Genel olarak OCAP yönteminin geçerlik ve güvenirlik bakımından diğer ağırlıklı puanlama yöntemlerine kıyasla daha büyük bir avantaj sağlayabileceği belirlenmiştir.
Özet (Çeviri)
Test development and scoring studies, which are among the main areas of work in measurement and evaluation practices, can affect the level of information collected about the respondents and especially the decisions made through the scores obtained. In this research, the answers to a short-answer test developed within the scope of the research; It is aimed to examine the psychometric properties of the test if it is scored first with number-correct scoring (NCS) and then with weighted scoring based on item difficulty indices (IDIS), scoring based on weighting of possible answers (PAS) and scoring based on polyweighting (PS). The research data was obtained by administering the 16-item test for the seventh grade mathematics course in secondary school to 636 students studying in Ankara in the 2022-2023 academic year. If NCS was used in scoring the test and then the PAS examined in the study was used, it was first investigated how the validity of the test scores and then the reliability estimates of the test scores changed according to classical test and item response theories. In addition, the generalizability of the results obtained by generating many different data sets for these two scoring methods through random subsampling from the research data was examined. According to the findings of the study based on classical test theory, it was observed that the use of the PAS could provide general advantages in terms of construct validity, concurrent validity and reliability. It was concluded that when the PAS was used in item response theory, more information was obtained for the respondents. Validity and reliability studies conducted with the data generated within the scope of the research showed that all results except factor loadings were compatible with the results obtained when original data was used. Finally, it was investigated how the reliability and validity of the test were affected when two other weighted scoring methods were used in addition to the PAS. In general, it has been determined that the PAS can provide a greater advantage in terms of validity and reliability compared to other weighted scoring methods.
Benzer Tezler
- Çeviri dersinde yapılaşma (uygulama sorunları-yöntem önerileri)
Strukturierung im übersetzungsunterricht (probleme der praxis-vorschlage zur methodik)
A. TURGAY KURULTAY
Doktora
Türkçe
1989
Eğitim ve Öğretimİstanbul ÜniversitesiAlman Dili ve Edebiyatı Bilim Dalı
PROF.DR. ŞARA SAYIN
- Mobil telefon kullanımına bağlı oluşan 900-1800 mhz radyo frekans dalgalarının meydana getirdiği elektromanyetik alanın iliak kanat kemik mineral yoğunluğuna etkisi
The effect of electromagnetic fields on bone mineral density of iliac bone produced by 900-1800 mhz radio frequency waves dependent on cellular phone usage
BEŞİR ANDAÇ AKSOY
Tıpta Uzmanlık
Türkçe
2006
Ortopedi ve TravmatolojiSüleyman Demirel ÜniversitesiOrtopedi ve Travmatoloji Ana Bilim Dalı
PROF.DR. NEVRES HÜRRİYET AYDOĞAN
- Çok değişkenli çok düzeyli model yaklaşımıyla PISA fen okuryazarlığı başarı farklılıklarının madde yanıt formatına göre değerlendirilmesi
A multivariate multilevel model approach to evaluating PISA science achievement by item response format
SERAP GÜLLE
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. BURAK AYDIN
- Karma yapıdaki geniş ölçekli Naep fen bilimleri testinin boyutluluk yapısının çok boyutlu madde tepki kuramına göre incelenmesi
Using Naep science achievement test data to explore the dimensional structure of a complex large scale assessment using multidimensional item response theory
ARİFE KART ARSLAN
Doktora
Türkçe
2019
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER KUTLU
- PISA 2003 ve PISA 2012 matematik okuryazarlığı testlerinin madde yanlılığı bakımından Türkiye ve Kore uygulamalarında karşılaştırılması
A comparison of item bias in PISA 2003 and PISA 2012 mathematics literacy items in Turkey and Korea administration
ESRA EMİNOĞLU ÖZMERCAN
Doktora
Türkçe
2015
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. RAHİME NÜKHET DEMİRTAŞLI