Çoktan seçmeli testlerin psikometrik analizi için web tabanlı bir araç geliştirme ve kullanılabilirlik değerlendirmesi
Development and usability evaluation of a web-based tool for the psychometric analysis of multiple-choice tests
- Tez No: 946214
- Danışmanlar: DOÇ. DR. GÜR EMRE GÜRAKSIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Afyon Kocatepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İnternet ve Bilişim Teknolojileri Yönetimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Yazılımı Bilim Dalı
- Sayfa Sayısı: 115
Özet
Bu tez çalışmasında, çoktan seçmeli testlerin psikometrik analizini çevrimiçi ortamda gerçekleştirebilecek bir web tabanlı sistem geliştirilmiş ve bu sistemin kullanılabilirliği değerlendirilmiştir. Laravel altyapısı ile geliştirilen yazılım; HTML, CSS, JavaScript, jQuery ve MySQL teknolojileriyle desteklenmiş, kullanıcı dostu bir arayüz aracılığıyla madde güçlüğü, ayırt edicilik, ortalama başarı ve KR-20/KR-21 gibi güvenilirlik katsayılarını otomatik olarak hesaplayabilir hâle getirilmiştir. Görselleştirilmiş analiz çıktıları ve çıktı alma seçenekleri ile kullanıcıların ölçme-değerlendirme süreçlerini daha hızlı ve etkili şekilde yürütmeleri hedeflenmiştir. Sistemin kullanılabilirliği, beş akademisyenin katıldığı görev temelli testler ve Likert ölçekli anketlerle ölçülmüştür. Bulgular, kullanıcıların büyük oranda görevleri başarıyla tamamladığını, ancak sınav yükleme ve analiz sonuçlarını yorumlama aşamalarında bazı zorluklarla karşılaştıklarını ortaya koymuştur. Pasta grafikle sunulan görev bazlı zorluk verileri, sistemin geliştirilmesi gereken yönlerini belirlemede yol gösterici olmuştur. Buna ek olarak, sistemin genel kullanıcı deneyimi düzeyini belirlemek amacıyla 50 akademisyenin katılımıyla Web Sitesi Kullanılabilirlik Ölçeği uygulanmıştır. Elde edilen verilere göre sistem, toplam 135 üzerinden ortalama 113,70 puan alarak yüksek düzeyde kullanılabilir olarak değerlendirilmiştir. Katılımcılar, özellikle sistemin görsel yapısını, menü başlıklarının işlevselliğini ve analiz ekranlarının açıklığını olumlu bulmuştur. En yüksek ortalama puan,“madde analizi ekranı soruları detaylı incelemeye olanak tanıyor”ifadesinden elde edilmiştir. Bu bulgular, sistemin sadece teknik işlevsellik açısından değil, aynı zamanda kullanıcı deneyimi bakımından da güçlü ve tatmin edici bir düzeye ulaştığını göstermektedir. Sonuç olarak geliştirilen sistem, eğitimde dijital ölçme-değerlendirme uygulamalarının etkinliğini artırmakta; öğretmenlerin iş yükünü azaltmakta ve ölçme araçlarının daha güvenilir biçimde değerlendirilmesine katkı sağlamaktadır. Tez, eğitim teknolojileri alanında hem yazılım geliştirme hem de kullanıcı odaklı değerlendirme açısından bütüncül bir katkı sunmaktadır.
Özet (Çeviri)
In this master's thesis, a web-based system was developed to perform the psychometric analysis of multiple-choice tests in an online environment, and the usability of the system was evaluated. The software was built on the Laravel framework and supported by technologies such as HTML, CSS, JavaScript, jQuery, and MySQL. Through a user-friendly interface, the system is capable of automatically calculating item difficulty, item discrimination, average success rate, and reliability coefficients such as KR-20 and KR-21. The system also provides visualized analysis outputs and export options, aiming to facilitate and accelerate assessment processes for users. The usability of the system was evaluated through task-based tests and Likert-scale questionnaires with the participation of five academic users. The findings revealed that users successfully completed most of the tasks; however, certain difficulties were encountered in tasks related to uploading exams and interpreting analysis results. Task-specific difficulty levels were presented in a pie chart, serving as a guide for identifying areas of the system in need of improvement. In addition, a Web Site Usability Scale was administered to a larger sample of 50 academic users to assess overall user experience. According to the data obtained, the system achieved an average score of 113.70 out of 135, indicating a high level of usability. Participants particularly highlighted the effectiveness of the visual structure, the clarity and functionality of menu labels, and the transparency of the analysis screens. The highest-rated statement was“The item analysis screen enables detailed examination of questions.”These findings indicate that the system is not only functionally effective but also provides a satisfactory and robust user experience. As a result, the developed system enhances the efficiency of digital assessment practices in education, reduces the workload of educators, and contributes to more reliable evaluation of test instruments. This thesis offers a comprehensive contribution to the field of educational technologies in terms of both software development and user-centered evaluation.
Benzer Tezler
- Bilgisayarca düşünme becerilerinin ölçülmesinde alternatif bir yaklaşım: Performans tabanlı ölçüm
An alternative approach in measuring computational thinking: Performance-based measurement
EMRE ÇOBAN
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimAmasya ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
PROF. DR. ÖZGEN KORKMAZ
- İlköğretim okulları 4. sınıf fen bilgisi programına göre hazırlanmış kısa cevaplı ve çoktan seçmeli testlerin psikometrik özelliklerinin incelenmesi
Analyze the psychometric charectiristics and multiple choice test items which were prepared according to the curricula for secondary education
ZAFER ÜNAL
Yüksek Lisans
Türkçe
1997
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. A. ATA TEZBAŞARAN
- Çoktan seçmeli testlerin klasik test teorisi ve örtük özellikler teorisine göre hesaplanan psikometrik özelliklerinin iki kategorili ve ağırlıklandırılmış puanlanması yönünden karşılatırılması
A Comparison of psychometric characteristics of multiple choice tests computed with respect to classical test theory and latent trait theory in relation to binary scoring and weighted scoring
DEVRİM ÖZDEMİR
Doktora
Türkçe
2002
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. SELAHATTİN GELBAL
- Kısa cevaplı, çoktan seçmeli ve kompozisyon tipi maddelerden oluşan testlerin psikometrik özelliklerinin karşılaştırmalı olarak incelenmesi
Constrative analysis of psychometric properties of short answer, multiple - choice and essay type tests
DEVRİM ÖZDEMİR
Yüksek Lisans
Türkçe
1997
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. A. ATA TEZBAŞARAN
- Matematiksel muhakeme problemlerini problem çözme sürecinde ve sonucunda yoklayan maddelerden oluşan testlerin psikometrik özelliklerinin karşılaştırılması
The Comparison of the psychometric properties of two tests contains the test items evaluation through process of the problem solving and conslusion on mathematical problem solving abilities
M. CANAN YURTSEVEN
Yüksek Lisans
Türkçe
1998
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. ATA TEZBAŞARAN