Gerçek ve üretilmiş veri setlerinde çok boyutlu bireyselleştirilmiş bilgisayarlı test uygulama sonuçlarının incelenmesi
Examining the results of multidimensional computerized adaptive testing applications in real and generated data sets
- Tez No: 470016
- Danışmanlar: PROF. DR. SELAHATTİN GELBAL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 182
Özet
Bu çalışmada; Anadolu Üniversite YDYO'da öğrenim gören hazırlık sınıfı öğrencilerinin eğitimlerini bitirmelerinin ardından, lisans eğitimleri öncesi vermeleri gereken Yeterlilik Tespit Sınavının (YTS) verileri kullanılarak gramer ve kelime bilgisi becerileriyle birlikte bir de genel yetenek ölçen çok boyutlu bir bireyselleştirilmiş bilgisayarlı test (BBT) geliştirililmesi amaçlanmıştır. Buna yönelik olarak öncelikle, Anadolu Üniversitesi YDYO'da geçmiş yıllardaki YTS'lerde uygulanan ve her biri 50'şer sorudan oluşan dört farklı madde seti ile bu maddelere ait veriler kullanılarak bir madde havuzu oluşturulmuştur. MTK'ya dayalı olarak yapılan analizlerde her bir veri seti için sırasıyla tek boyutlu model, iki boyutlu model ve üç boyutlu bifaktör model uygulanmış ve tüm madde setleri için en uygun modelin üç boyutlu bifaktör model olduğu sonucuna varılmıştır. Madde havuzunun oluşturulmasının ardından, gerçek-zamanlı çok boyutlu BBT uygulamasında kullanılacak algoritmayı belirlemek amacıyla, eldeki eksik veri matrisi de göz önüne alınarak bir hibrit simülasyon uygulaması yapılmıştır. Bu simülasyon uygulamasında farklı yetenek kestirim yöntemlerinin (EAP ve MAP), farklı madde seçim yöntemlerinin (D-rule, KL, W-rule, T-rule, ağırlıklandırılmış W-rule ve ağırlıklandırılmış T-rule) ve farklı sonlandırma kurallarının (standart hata, θ değişimi ve sabit madde) kullanıldığı toplam 36 farklı koşul yaratılmış; bu koşullarda her bir boyut için gerçek ve kestirilen θ değerleri arasındaki korelasyon ile birlikte yanlılık, RMSD ve standart hata değerleri elde edilmiştir. Korelasyon değerleri ve hata istatistikleri ile birlikte, BBT uygulamalarında ölçme kesinliğinin önemli bir göstergesi olduğundan, değişken madde sayısına dayalı sonlandırma kuralının kullanıldığı koşullarda yanıtlanan madde sayısı da raporlanmıştır. Elde edilen sonuçlara göre; üç farklı sonlandırma kuralı için de D-rule madde seçim yöntemi ve MAP yetenek kestirim yönteminin en iyi istatistikleri verdiği bulgulanmıştır. Bir sonraki adımda her bir sonlandırma kuralı için en iyi koşullar karşılaştırılarak gerçek-zamanlı çok boyutlu BBT uygulaması için D-rule madde seçim yöntemi ve MAP yetenek kestirim yöntemiyle birlikte standart hataya dayalı sonlandırma kuralının kullanılmasına karar verilmiştir. Söz konusu algoritma kullanılarak gerçek-zamanlı çok boyutlu BBT uygulamasının yapıldığı 99 öğrenciden 32'sinin kağıt-kalem testiyle elde edilen toplam puanları ile gerçek-zamanlı uygulama sonucu elde edilen genel yetenek düzeyleri arasındaki korelasyon elde edilmiştir. Bunun yanında, uygulamanın yapıldığı toplam 99 kişinin sonuçlarına dayanarak havuzda yer alan maddelerin kullanım sıklıkları ve her bir bireyin yanıtladığı toplam madde sayısı da raporlanmıştır. Gerçek-zamanlı uygulama sonucu elde edilen sonuçlara göre; 200 maddeden oluşan havuzun %30'unun kullanıldığı görülmüştür. Testin bitirilmesiyle yanıtlanan ortalama madde sayısının 12.3 olduğu, ayrıca katılımcıların yaklaşık %75'inin 10 ile 12 arasında madde yanıtladıkları sonucuna ulaşılmıştır
Özet (Çeviri)
This study aims to develop a multi-dimensional computerized adaptive test (MCAT) that measures grammar and vocabulary knowledge as well as general ability of the students attending Anadolu University School of Foreign Languages by using the data from Proficiency Exams administered for these student at the end of preparatory school education. To achieve this purpose, an item pool was created by using four different data sets each of which consists of 50 questions used in the previous proficiency exams administered at Anadolu Uniersity School of Foreign Languages. According to IRT-based analyses applied to the data, it was found that three-dimensional bifactor model was the most appropriate model for all item sets. Following the development of the item pool, a hybrid simulation was applied –by taking the missing matrix into consideration – in order to determine the algorithm to be used in real-time MCAT application. In this application, a total of 36 conditions were created in which different ability estimation methods (EAP and MAP), different item selection methods (D-rule, KL, W-rule, T-rule, weighted W-rule and weighted T-rule) and different termination rules (standard error, θ convergence, fixed number of items) were used. In these conditions, the correlation between estimated θ value and real value for each dimension; bias, RSMD and standard error values were obtained. Being an important indicator of measurement accuracy in CAT applications in addition to correlation values and error statistic, the number of items replied was also reported under the variable-length simulation conditions. According to the results obtained, it was found that D-rule item selection method and MAP ability prediction method give the best statistics for each different termination rule. Following the comparisons of best conditions for each termination rule, it was decided that the termination rules based on standard error as well as D-rule item selection method and MAP ability prediction method should be used for real-time MCAT application. By using this algorithm, a correlation was obtained between general ability levels obtained from the real-time application and the scores 32 students out of 99 received from paper-pencil test, who were applied real-time application. In addition, the total number of items administered to each individual and how frequently the items in item pool are used were reported based on the results obtained from the application carried out for 99 students. According to the results obtained from real-time application, it was found that 30% of the item pool, which includes a total of 200 items were used. It was also observed that the average number of items replied was 12.3 and nearly 75% of the participants replied 10 to 12 items.
Benzer Tezler
- Generalized multi-view data proliferator (gem-vip) for boosting classification
Genelleştirilmiş çok boyutlu veri üretimi ile sınıflandırma hassaslığının yükseltilmesi
MUSTAFA ÇELİK
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ISLEM REKIK
- Alevi müziği: Bilgi, iktidar ve etik eksenleri üzerinden inşâ edilen bir müzikâl kimlik
Alevi music: A musical identity constructed through the axes of knowledge, power, and ethics
İSMAİL GÜNGÖR
Doktora
Türkçe
2024
Müzikİstanbul Teknik ÜniversitesiMüzikoloji ve Müzik Teorisi Ana Bilim Dalı
PROF. SONGÜL KARAHASANOĞLU
- MEMS sensor platform for vital monitoring under mri and intraocular pressure measurement
Yaşamsal işaretlerin ve göz içi basıncın ölçülmesine yönelik MEMS basınç ölçer platformunun geliştirilmesi
PARVIZ ZOLFAGHARI
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR FERHANOĞLU
- Oyun karakteri üretimi için üretken modeller
Generative models for game character generation
FERDA GÜL AYDIN EMEKLİGİL
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. İLKAY ÖKSÜZ
- A deep learning architecture for missing metabolite concentration prediction
Eksik metabolit miktarı tahmini için bir derin öğrenme mimarisi
SADİ ÇELİK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ ÇAKMAK