Bireyselleştirilmiş çok aşamalı testlerin test birleştirme yöntemlerine göre incelenmesi
Investigation of adaptive multistage test based on test assembly methods
- Tez No: 494324
- Danışmanlar: PROF. DR. HÜLYA KELECİOĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 127
Özet
Bu araştırmada, bireyselleştirilmiş çok aşamalı testlerde (BÇAT) örneklem büyüklüğü, panel deseni ve modül uzunluğuna göre yukarıdan-aşağıya ve aşağıdan-yukarıya test birleştirme yöntemleri karşılaştırılmıştır. Her iki test birleştirme yöntemine göre oluşturulan BÇAT'lar sınıflandırma testi açısından da değerlendirilmiştir. Araştırma kapsamında PISA 2015 yılı uygulamasına ait veriler kullanılmış, bu verilerden kestirilen parametrelere göre simülasyon çalışması yapılmıştır. Madde havuzunu, 2015 yılında uygulanan PISA verilerinden elde edilen iki kategorili veri seti oluşturmuştur. Araştırma değişkenlerinden modül uzunluğu değişkeni 6 ve 12, panel deseni değişkeni“1-2”,“1-2-2”ve“1-2-3”, örneklem büyüklüğü değişkeni 250 ve 2000 olarak belirlenmiştir. Analiz sonuçları ortalama hata, yanlılık ve sınıflandırma doğruluğu değerleri açısından karşılaştırılmıştır. Araştırmanın yukarıdan-aşağıya test birleştirme yöntemine göre oluşturulan BÇAT simülasyonundan elde edilen sonuçlarına göre küçük ve büyük örnekleme uygulanan BÇAT'ın modül uzunluğu arttığında ve panel deseni“1-2”den“1-2-2”ve“1-2-3”e doğru geçtiğinde ortalama hata değerleri düşmüştür. Örneklem büyüklüğünün artması,“1-2”ve“1-2-2”panel desenlerinin kısa ve orta modül uzunluğunda ortalama hata değerlerinde bir miktar düşüş oluşturmuştur. Modül uzunluğunun artması her iki örneklem türünde panel desenlerinin yanlılığını azaltmıştır. Panel deseninin“1-2”den“1-2-2”ve“1-2-3”e doğru geçişi her iki örneklem büyüklüğü ve modül uzunluğunda ortalama yanlılık değerlerini düşürmüştür. Örneklem büyüklüğünün artması aynı şekilde tüm koşullar için yanlılığı küçük bir miktar azaltmıştır. BÇAT'ı yanıtlayan bireylerin %70, %50 ve %30 geçme oranlarında yüksek sınıflandırma oranları ve Kappa uyum katsayıları hesaplanmıştır. Araştırmanın aşağıdan-yukarıya test birleştirme yöntemine göre oluşturulan BÇAT simülasyonundan elde edilen sonuçlarına göre küçük ve büyük örnekleme uygulanan BÇAT'larda modül uzunluğu ve panel deseni arttıkça ortalama hata değeri azalmıştır. Örneklem büyüklüğünün ve modül uzunluğunun artması küçük ve büyük örnekleme uygulanan“1-2”,“1-2-2”ve“1-2-3”panel desenlerinin yanlılığını azaltmıştır. Her iki örnekleme uygulanan kısa ve orta uzunlukta modülün olduğu“1-2”,“1-2-2”ve“1-2-3”panel desenlerinden oluşan BÇAT'ların; %70, %50 ve %30 geçme oranlarında oldukça yüksek düzeyde bireyleri doğru sınıflandırdığı sonucuna ulaşılmıştır.
Özet (Çeviri)
In this research, the performance of top-down and bottom-up test assembly methods were compared according to the sample size, panel design and module length of the Adaptive Multistage Tests (MST). MSTs formed according to the both test assembly methods were also evaluated in terms of the classification test. Within the context of the research, data for PISA 2015 were utilized and a simulation study was conducted according to the parameters predicted based on these data. Item parameters calibrated according to the 2 PL model from the two-category data set obtained the PISA data applied in the year 2015 comprised the item pool of the research. Of the research variables, module length variables 6 and 12, panel design variable“1-2”,“1-2-2”and“1-2-3”, and the sample size variables 250 and 2000 were determined in the study. Analysis results for each condition were compared in terms of mean error, bias and classification accuracy. According to the results obtained from the MST simulation formed based on top-down test assembly method, it was determined that the mean error value decreased when the module length of MST applied to the small and large samples increased. The mean error values decreased in case of the transition from“1-2”panel design to panel design“1-2-2”and“1-2-3”took place. The increase in the sample size lead to a certain amount of decrease in the mean error values of“1-2”and“1-2-2”panel design in short and moderate module lengths. The increase in the module length lowered the bias values of the panel design in both sample types. The transition of panel design from“1-2”to“1-2-2”and“1-2-3”decreased the mean bias values in both sample sizes and module lengths. The increase in sample size also reduced the bias slightly for all conditions. Individuals who filled the MST were compared with the passing ratios 70%, 50% and 30% respectively and the high classification ratios and Cohen's Kappa coefficient of agreement. According to the results obtained from the MST simulation constructed according to bottom-up test assembly method, the mean error value decreased as the module length and panel design in MSTs applied to small and large samples increased. The increase in the sample size lead to a decrease in the mean error values of“1-2”panel design in short and moderate module lengths,“1-2-2”panel design in short module length and“1-2-3”panel design in moderate module length. The increase in sample size and module length decreased the bias values of panel design“1-2”,“1-2-2”and“1-2-3”applied to the small and large samples. It was found that MSTs consisting of panel design“1-2”,“1-2-2”and“1-2-3”that contain short and moderate length modules applied to both samples classified the individuals at a high rate at 70%, 50% and 30% passing ratios.
Benzer Tezler
- Sabit ve anında bireyselleştirilmiş çok aşamalı testlerin karşılaştırılması
Comparison of fixed and on-the-fly computerized multistage testing
MAHMUT SAMİ YİĞİTER
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Hibrit ve geleneksel çok aşamalı testlerin performansının farklı koşullar altında incelenmesi
Performances of hybrid and traditional multi-stage tests under different conditions
ÇAĞLA ALPAYAR
Doktora
Türkçe
2023
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. CELAL DEHA DOĞAN
DR. DUANLI YAN
- Değişen madde fonksiyonu gösteren madde oranının bireyselleştirilmiş bilgisayarlı ve çok aşamalı testler üzerindeki etkisi
The effect of item ratio indicating differential item functioning on computer adaptive and multi stage tests
BAŞAK ERDEM KARA
Doktora
Türkçe
2019
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Bireyselleştirilmiş çok aşamalı testlerde çok kategorili madde oranının yetenek kestirimine etkisi
The effect of polytomous item ratio on ability estimation in multistage tests
HASİBE YAHŞİ SARI
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU
- Bilgisayar temelli bireyselleştirilmiş test yaklaşımlarının Türkiye'deki merkezi dil sınavlarında uygulanabilirliğinin araştırılması
Investigation of applicability of computer-based adaptive testing approaches to central language exams in Turkey
ERCAN ÇOBAN
Doktora
Türkçe
2020
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. CELAL DEHA DOĞAN