Çoktan seçmeli test maddeleri için göz izleme teknolojisi ile elde edilmiş verilerin boylamsal analizi: Yabancı dil olarak İngilizce okuduğunu anlama becerisi ölçen beş madde ile deneysel bir çalışma
Longitudinal analysis of eye tracking data for multiple choice test items: An experimental study with five items measuring reading comprehension of English as a foreign language
- Tez No: 788500
- Danışmanlar: PROF. DR. NİLÜFER KAHRAMAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 129
Özet
Bu çalışmanın amacı, çoktan seçmeli deneysel bir test uygulaması üzerinden, katılımcıların madde yanıtlama davranışları ile maddeyi doğru/yanlış cevaplama durumları arasındaki ilişkileri göz izleme teknolojisi ile elde edilen veriler ile analiz ederek değerlendirmektir. Araştırma verileri, çalışmaya gönüllü olarak katılan yetmiş bir katılımcının, bir ekran üzerinden yabancı dil olarak İngilizce okuduğunu anlama becerisini ölçen beş çoktan seçmeli test maddesine verdiği yanıtları ve yanıtlama süreci sırasında eş zamanlı olarak alınan göz hareketlerini içermektedir. Öncelikle, her bir madde ayrı ayrı ele alınarak, çoktan-seçmeli bir maddenin bölümlerini oluşturan yönerge, soru metnine ait her bir satır ve her bir seçenek için İlgi Alanları değişkenleri tanımlanmıştır. Ardından, ham göz izleme verisi işleme süreci başlatılarak, maddeyi cevaplamada harcanan tüm zaman için bu değişkenlere ait saniyelik odaklanma verileri elde edilmiş, İlgi Alanları için ilk odaklanma zamanları, odaklanma süreleri ve tekrar odaklanma sayıları hesaplanmıştır. Yönerge, satır ve seçenekler için oluşturulan İlgi Alanlarına ait veriler kullanılarak betimsel istatistikler (ortalama, medyan, vb.) ve çıkarımsal istatistikler (Mann-Whitney U testi) hesaplanmıştır. Ayrıca, seçenekler için oluşturulan İlgi Alanları için Örtük Büyüme Modelleri hesaplanarak katılımcıların seçeneklere sıralı odaklanma davranışlarındaki örüntüler çalışılmıştır. Yönerge ve satır için oluşturulan İlgi Alanlarından farklı olarak, içerdikleri kelime sayıları açısından benzer olmaları ve her maddede eşit sayıda bulunmaları nedeniyle, seçenekler için oluşturulan İlgi Alanları için elde edilen sıralı odaklanma verilerinin Örtük Büyüme Modelleri ile incelenebilmesi mümkün olmuştur. Analizlerde, ilk önce, seçenek İlgi Alanları için çıkarılmış olan sıralı odaklanma verileri (saniyeler), zaman serisi verilerin stabilizasyonu amaçlı istatistiksel modelleme çalışmalarında yaygın kullanılan log transformasyonuna tabi tutulmuştur. Takiben, yuvalanmış modeller ile seçeneklere sıralı odaklanma davranışındaki örüntünün şekli ve son olarak da, bu şeklin maddeyi doğru yanıtlayan ve yanıtlamayan katılımcılar için değişip değişmediği test edilmiştir. Ayrıca, doğru kodlanmış seçeneğin A, B, C, D veya E olmasının (sırası ile, Madde 1, Madde 2, Madde 3, Madde 4 ve Madde 5) gözlenen örüntünün şekli ve doğru yanıtlayan ve yanıtlamayanlar için gözlenen farkı ne derece açıkladığı incelenmiştir. Analizler, bireylerin madde cevaplama ortalama sürelerinin maddeden maddeye farklılaştığını (Madde 1 için 43, Madde 2 için 36, Madde 3 için 40, Madde 4 için 55 ve Madde 5 için 35) ve her bir madde içinde İlgi Alanlarındaki (yönerge, metin ve seçenekler) odaklanma sürelerinin farklılaştığını göstermektedir. Elde edilen bulgular, İlgi Alanlarına odaklanma sürelerinin, özellikle seçenekler için, maddenin doğru/yanlış cevaplanma durumuna göre farklılık gösterdiğini desteklemektedir. Maddeye doğru yanıt veren katılımcıların doğru seçeneğe daha fazla baktığı; benzer şekilde katılımcıların tekrar odaklanma davranışının maddenin doğru/yanlış cevaplanma durumuna ve doğru seçeneğin bulunduğu konuma göre farklılık gösterdiği bulunmuştur. Seçeneklere odaklanma davranışının bir süreç olarak modellemesine izin veren Örtük Büyüme Modelleri ile elde edilen bulgular, katılımcıların (seçenek A'dan seçenek E'ye) sıralı odaklanma davranışlarındaki genel örüntünün tüm maddeler için kuadratik bir değişime işaret ettiğini ve bu değişimin şeklinin de en çok maddeyi doğru yanıtlayanlar için ve en temelde de doğru-kodlanmış seçeneğin göreli lokasyonuna (sırasına) göre farklılaştığını göstermektedir. Çalışmanın sonuçları, göz izleme teknolojisi ile toplanabilecek verilerin, katılımcıların çoktan-seçmeli bir maddeyi okumaya başladıkları andan, maddeye yanıt verdikleri ana kadar geçen sürede, maddenin hangi bölümüne, ne sırada ve ne kadar süre ile odaklandıkları ile ilgili tipik davranışların belirlenmesinde ve bu davranışların doğru cevap ile ilişkilerinin çalışılmasında kullanışlı olabileceğini destekler niteliktedir. Çoktan seçmeli maddelerin nasıl işlediklerinin, maddeye harcanan süre ve bu sürenin İlgi Alanlarına dağılımları, doğru cevap ile korelasyonları, işlemeyen çeldiricileri gösterebilecek geri dönüş oranları gibi detaylı istatistikler ile çalışılabilecek olmasının, madde özellikleri ve en nihayetinde de yanıtlayıcı performansının daha iyi anlaşılmasına yönelik yapılacak çeşitli geçerlilik çalışmalarına önemli kanıtlar sağlayabileceği tartışılmıştır. Verilerinin bireysel uygulama gerektiren deneysel bir düzenekte toplanması ile gelen katılımcı ve madde sayısı sınırlılıkları, kullanılan göz izleme cihazının kayıt kalitesinin mükemmel olmayışı ve cihazın ürettiği zaman serisi verilerin ölçme ve değerlendirme alanı için anlamlı olabilecek boylamsal verilere dönüştürülme (veri işleme) süreçlerinin henüz deneysel bir aşamada olması gibi bir dizi sınırlılığı olmakla birlikte, bu çalışmanın sonuçları, göz izleme verilerinin madde ve test geliştirme çalışmalarına eklenmelerinin, maddelerin ölçmek isteği özelliği ölçüp ölçmediği konusunda yapılacak detaylı çalışmalara kullanışlı ampirik kanıtlar sağlayabileceğini destekler niteliktedir.
Özet (Çeviri)
This study aims to evaluate the relationships between the participants' item response behaviours and their correct/incorrect answers for items by analyzing the data obtained with eye-tracking technology through an experimental multiple-choice test administration. The data consisted of the responses of seventy-one participants who voluntarily participated in the study to answer five multiple-choice test items measuring reading comprehension skills in English as a foreign language on a screen and eye movements taken simultaneously during the answering process. First, each item was analyzed separately, and Areas of Interest were defined for each multiple-choice item section, the instruction, each line of the question text, and each option. Then, raw eye-tracking data processing was initiated to obtain second fixation data in seconds for these variables for the entire time spent answering the item, and first fixation times, fixation durations and refixation counts were calculated for the Areas of Interest. Descriptive statistics (mean, median, etc.) and inferential statistics (Mann-Whitney U test) were calculated using the Interest Areas data generated for instructions, lines and choices. In addition, Latent Growth Models for Areas of Interest generated for the choices were calculated to examine the patterns in participants' sequential fixation behaviours on the options. Unlike the Areas of Interest for instruction and lines, the sequential fixation data obtained for the Areas of Interest for the choices were analyzed with Latent Growth Models since word counts and the number of words in each item are similar. In the analyses, first, the sequential fixation data (in seconds) extracted for the Areas of Interest for choices were subjected to log transformation, which is commonly used in statistical modelling studies to stabilize time series data. Next, nested models were used to test the pattern of sequential fixation behaviour on the choices and whether this shape varied for participants who answered the item correctly and those who did not. In addition, we also examined the extent to which whether the correctly coded option was A, B, C, D or E (Item 1, Item 2, Item 3, Item 4 and Item 5, respectively) explained the shape of the observed pattern and the observed difference between correct and incorrect respondents. The analyses show that individuals' average item response times differed from item to item (43 sec., 36 sec., 40 sec., 55 sec., and 35 sec. for Items 1,2, 3, 4, and 5, respectively) and that the fixation time on the Areas of Interest (instructions, text, and options) differed within each item. The findings support that the fixation duration on the Areas of Interest, especially on the choices, differed according to the correct/incorrect answer of the item. It was found that the participants who answered the item correctly looked at the correct choice more; similarly, the participants' refixation behaviour differed according to the correct/incorrect answer of the item and the location of the correct choice. The findings obtained with Latent Growth Models, which allow the modelling of fixation behaviour on choices as a process, show that the overall pattern of participants' sequential fixation behaviour (from option A to option E) indicates a quadratic change for all items and that the shape of this change differs most for those who answered the item correctly and most fundamentally according to the relative location (order) of the correctly-coded choice. The results of the study support that the data collected with eye-tracking technology could be useful in determining the typical behaviours related to which part of the item, in what order and for how long the participants fixate on from the moment they start reading a multiple-choice item until the moment they respond to the item, and in studying the relationship between these behaviours and the correct answer. It was argued that investigating how multiple-choice items function with detailed statistics, such as the time spent on the item and its distribution across Areas of Interest, correlations with the correct answer, and refixation rates that may indicate non-functioning distractors, could provide substantial evidence for various validity studies to understand item characteristics better and, ultimately, respondent performance. Despite a number of limitations, such as the limitations in the number of participants and items because of the experimental setup requiring individual administration, the imperfect recording quality of the eye-tracking device used in the study, and the fact that transforming the time-series data generated by the device into longitudinal data that may be meaningful for the field of measurement and evaluation are still at an experimental stage, the results of this study support that the inclusion of eye-tracking data in item and test development studies can provide useful empirical evidence for detailed studies on whether the items measure the trait they are intended to measure.
Benzer Tezler
- The effects of the use of learning management systems on writing motivation in an EFL context
Öğrenme yönetim sistemleri kullanmanın yabancı dil olarak İngilizce yazma motivasyonu üzerindeki etkileri
HATİCE GÜL SELÇUK
Yüksek Lisans
İngilizce
2023
Eğitim ve Öğretimİstanbul Medeniyet ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. SELAMİ AYDIN
- Çoktan seçmeli testlerde seçenek sayısının madde parametreleri ve farklı yetenek düzeylerinde bilgi fonksiyonları ile madde uyumlulukları üzerinde etkisinin incelenmesi
A study on the effect of numbers of options on the parameters and the question's goodness of fit, and its effect on information function of the question in different levels of ability in multiple choice tests
GHOLAMREZA GOLMOHAMMAD NAZHAD BAHRAMI
Doktora
Türkçe
2006
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ.DR. SELAHATTİN GELBAL
- Çoktan seçmeli sorulara dayalı olmayan bir kitle matematik sınavı sürecinin değerlendirilmesi: Grup uyumu değerlendirme modeli
Evaluation of a math exam process, which is not based on multiple choice questions: The group moderation evaluation model
MİTHAT TAKUNYACI
Doktora
Türkçe
2016
Eğitim ve ÖğretimMarmara ÜniversitesiOrtaöğretim Fen ve Matematik Öğretmenliği Eğ. Ana Bilim Dalı
DOÇ. DR. EMİN AYDIN
- Test ve madde istatistiklerinin hesaplanmasına yönelik bir çevrimiçi ortam geliştirilmesi
Development of a web-based environment for test and item statistics
GÖZDE TEKALMAZ
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimKocaeli ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH KEZER
- TIMSS 2019 4. sınıf düzeyinde yer alan maddelerin değişen madde fonksiyonu açısından incelenmesi
Investigation of differantial item functioning of TIMSS 2019 items in fourth grade
ÜLKÜ İREM ERİŞTİ
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. BURCU ATAR