Otomatik madde üretimi ile geliştirilmiş sözel olmayan akıl yürütme maddelerinin psikometrik özelliklerinin incelenmesi
Examination of the psychometric characteristics of non-verbal reasoning items developed with automatic item generation
- Tez No: 925825
- Danışmanlar: PROF. DR. AYFER SAYIN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 151
Özet
Ölçme ve değerlendirme alanındaki paradigma değişikliği ve teknolojideki hızlı değişimle birlikte geleneksel test geliştirme ve madde yazım yaklaşımı da farklılaşmaya başlamıştır. Madde yazımıyla ilgili sınırlılıkların üstesinden gelebilme arayışı, teknolojinin olanaklarından yararlanan otomatik madde üretimi olarak adlandırılan yeni bir test geliştirme yaklaşımını ortaya çıkarmıştır. Otomatik madde üretimiyle birlikte test geliştirme sürecinde zaman tasarrufu sağlamak, farklı bağlamlarda kullanılabilecek standartlaştırılmış ve ölçeklendirilmiş maddeler üretmek mümkün hâle gelmiştir. Bu araştırmada da otomatik madde üretimi kullanılarak özel yetenekli öğrencilere yönelik“Sözel Olmayan Akıl Yürütme Becerileri Testi”için otomatik madde üretilmesi ve üretilen bu maddelerin psikometrik özelliklerinin incelenmesi amaçlanmıştır. Temel araştırma olarak desenlenen bu araştırmada veriler, iki çalışma grubundan toplanmıştır. Birinci çalışma grubunu, Nevşehir ve Ankara ilinden 225 ilkokul 3. sınıf öğrencisi (%57,8'i normal gelişim gösteren %42,2'si özel yetenek tanısı almış ve BİLSEM'e devam eden) oluşmaktadır. Birinci çalışma grubu ile şekil tamamlama, döndürme, birleştirme, yansıma ve sıralama olmak üzere beş alt alanı (non-verbal maddeler) içeren 10 maddelik Sözel Olmayan Akıl Yürütme Becerileri Testi geliştirilmiştir. İkinci çalışma grubunu Ankara, İstanbul ve Nevşehir ilinden toplam 1,023 ilkokul 3. sınıf öğrencisi (%63,4'ü normal gelişim gösteren %36,6'sı özel yetenek tanısı almış ve BİLSEM'e devam eden) oluşturmuştur. İkinci uygulamada daha önce geleneksel olarak oluşturulan teste, model tabanlı otomatik madde üretimi ile geliştirilen iki adet döndürme alt testine ait madde eklenmiş ve maddelerin psikometrik özellikleri klasik test kuramı (KTK) ve madde tepki kuramına (MTK) göre incelenmiştir. Otomatik madde üretimi sürecinde öncelikle bilişsel model ve iki farklı madde modeli geliştirilmiş ve modellere ilişkin uzman görüşleri alınarak geçerlik kanıtları elde edilmiştir. Daha sonra modeller bilgisayar teknolojisi ile bir araya getirilmiş, PHP kodları kullanılarak her bir madde modeli için 1,000 madde otomatik olarak üretilmiştir. Üretilen maddeler arasından ikisi seçilerek birinci çalışma grubu ile geliştirilen 10 maddelik teste eklenmiştir. 10 maddesi geleneksel yöntemle geliştirilen maddelere 2 tane otomatik madde eklenerek 12 maddelik test için analizler yapılmıştır. Araşırmanın sonucunda otomatik olarak üretilen testin 4. ve 5. maddesinin hem KTK hem de MTK'ye dayalı analizlerde en yüksek ayırt ediciliğe sahip maddeler olduğu belirlenmiştir. KTK'ye göre 4. maddenin ayırt edicilik indeksi 0,70; 5. maddenin ayırt edicilik indeksi ise 0,69 olarak hesaplanmıştır. MTK'ye dayalı analizlerde de 4. madde için a=1,980; 5. madde için a=1,467 olarak hesaplanmıştır. Araştırmada otomatik olarak üretilen maddeler, döndürme alt testine aittir. Uygulamada döndürme alt testine ait iki madde geleneksel, iki madde de otomatik olarak geliştirilmiştir. Bu doğrultuda döndürme alt testindeki maddelerin psikometrik özellikleri de kendi içinde karşılaştırılmıştır ve madde karakteristik eğrileri incelenmiştir. Otomatik olarak üretilen 4. ve 5. maddelerin, normal gelişim gösteren ve özel yetenekli öğrencilerin yetenek düzeylerini ayırt edebildiği görülmüştür. Araştırmadan elde edilen sonuçlar, otomatik madde üretiminin, doğru şekilde yapılandırıldığında, psikometrik özellikleri iyi düzeyde olan ölçme araçları geliştirmede kullanılabileceğini ve test geliştirmede yüksek bir potansiyele sahip olduğunu göstermektedir.
Özet (Çeviri)
With the paradigm shift in measurement and evaluation and the rapid technology change, the traditional test development and item writing approach has also begun to differ. The search for overcoming the limitations related to item writing has led to a new test development approach called automatic item generation (AIG), which takes advantage of the possibilities of technology. With AIG, it became possible to save time in the test development process and to produce standardized and scaled items that can be used in different contexts. This study aimed to produce automatic items for the“Nonverbal Reasoning Skills Test”for gifted students using AIG and to examine the psychometric properties of these items. In the study, designed as a basic research, data were collected from two study groups. The first study group consisted of 225 3rd grade elementary school students (57.8% of whom presented normal development, 42.2% were diagnosed as gifted and were attending BİLSEM [Science and Arts Centers]) from Nevşehir and Ankara provinces. A 10-item Nonverbal Reasoning Skills Test covering five sub-domains, including shape completion, rotation, merge, reflection and ordering (non-verbal items), was developed with the first study group. The second study group consisted of a total of 1,023 3rd grade elementary school students (63.4% of whom presented normal development, 36.6% of whom were diagnosed as gifted and were attending BİLSEM) from the cities of Ankara, İstanbul and Nevşehir. Two rotation items developed with model-based AIG were added to the previously traditionally developed test in the second application. The psychometric properties of the items were examined according to classical test theory (CTT) and item response theory (IRT). In the automatic item generation process, first, a cognitive model and two different item models were developed and validity proofs were obtained by getting expert opinions on the models. Then, the models were brought together with computer technology, and 1,000 items were automatically generated for each item model using PHP codes. Two generated items were selected and added to the 10-item test developed with the first study group. Analyses were conducted for the 12-item test by adding two automatic items to the items of which 10 were developed using the traditional method. The study result revealed that the 4th and 5th items of the automatically generated test had the highest discrimination in both CTT and IRT-based analyses. According to CTT, the discrimination index of Item 4 was calculated as 0,70, and the discrimination index of Item 5 was calculated as 0,69. In the IRT-based analyses, a=1.980 was calculated for Item 4 and a=1.467 for Item 5. The automatically generated items in the study belong to the rotation subtest. In the application, two items belonging to the rotation subtest were developed traditionally, and two items were developed automatically. In this context, the psychometric properties of the items in the rotation subtest were compared among themselves, too, and the item characteristic curves were examined. The automatically generated items 4 and 5 could distinguish the ability levels of normally developed and gifted students. The study results show that automatic item generation, when constructed correctly, can be used to develop measurement tools with good psychometric properties and has a high potential in test development.
Benzer Tezler
- A research on intelligent software development for design and analysis of factorial experiments
Başlık çevirisi yok
İNCİ BATMAZ DANACI
Doktora
İngilizce
1993
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN ÖZTÜRK
- Bazı alg ve bitkilerden elde edilen ekstraktlardaki biyoaktif bileşiklerin değerlendirilmesi
Evaluation of bioactive compounds in extracts obtained from some algae and plants
OĞUZHAN EKER
Yüksek Lisans
Türkçe
2025
Biyokimyaİstanbul Üniversitesi-CerrahpaşaKimya Ana Bilim Dalı
PROF. DR. MAKBULE ÇİĞDEM SAYIL
- Radiküler kist ve granülomların dijital histogram analizi ile ayırdedilmesi
Differention of radicular cyst and granulomas with digital histogram analysis
ÜLKEM AYDIN
Doktora
Türkçe
1998
Diş HekimliğiGazi ÜniversitesiDiş Hastalıkları ve Tedavisi Ana Bilim Dalı
PROF. DR. TAYFUN ALAÇAM
- design and manufacturing of a shape memory alloy actuator
Şekil bellek alaşımlı aktüatör tasarımı ve üretimi
MUTLU TOPAL
- Taşkın modellemede LiDAR verisi ile performans analizleri
Performance analyses with with LiDAR data in flood modelling
HAKAN ÇELİK
Doktora
Türkçe
2017
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. HİLAL GONCA COŞKUN