Test tahrifatının belirlenmesinde silme belirleme indeksinin I. tip hata ve istatistiksel güç açısından incelenmesi
Analysis of the erasure detection index in terms of type I error and statistical power in determining test tampering
- Tez No: 638740
- Danışmanlar: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 190
Özet
Bu araştırmada, test tahrifatının belirlenmesinde kullanılan Silme Belirleme İndeksi'nin (SBİ) farklı koşullar (örneklem büyüklüğü, yetenek düzeyi, madde sayısı ve hileli silme oranı) altında, I. Tip hata oranı ve istatistiksel güç bakımından nasıl değiştiğinin belirlenmesi amaçlanmaktadır. Bu amaç doğrultusunda 250, 2500, 25000 ve 49995 test alan için 50 ve 160 madde üzerinden Sınıflamalı Tepki Modeline göre simülatif yanıt örüntüleri üretilmiştir. Veri setlerinde iyicil silmelerden tesadüfi, kaydırma ve dizi sonu silmeleri simüle edilmiştir. İyicil silmeleri içeren veri setlerine, ayrı ayrı sabit silme ve değişken silme yapılarak yanıtlar tahrifata uğratılmıştır. Sonrasında veri setleri birleştirilerek iyicil ve hileli silmeleri içeren veri setleri analize hazır hale getirilmiştir. Süreklilik düzeltmesi uygulanan ve uygulanmayan SBİ'nin ürettiği I. Tip hata oranları ve istatistiksel güç değerleri; 500, 5000, 50000 ve 99990 örneklem büyüklüklerinde beş farklı yetenek düzeyine göre, 50 ve 160 maddelik veri setlerinde, %10, %20 ve %30 oranlarında sabit silme ve değişken silme için .00001, .0001, .0005, .001, .005, .01 ve .05 α seviyelerinde incelenmiştir. Süreklilik düzeltmesi uygulanmadığında I. Tip hata oranları genellikle iyi kontrol edilememiştir. Süreklilik düzeltmesi uygulanması tüm alfa seviyelerinde I. Tip hata oranlarını düşürürken istatistiksel gücün de bir miktar düşmesine neden olmuştur. I. Tip hata oranları 50 maddelik veri setlerinde 160 maddelik veri setlerine göre daha iyi kontrol edilmiştir. Örneklem büyüklüğü arttıkça I. Tip hata oranlarında azalma görülmüştür. Sabit silme oranları arttıkça tahrifata uğrayan test alanlar daha doğru tespit edilmiş ve istatistiksel güç artmıştır. Yetenek düzeyi arttıkça istatistiksel gücün düştüğü belirlenmiştir. Araştırma sonucunda Türkiye'de uygulanan yüksek riskli sınavlarda SBİ ile tahrifatın belirlenmesine yönelik çalışmaların yürütülmesi önerilmektedir.
Özet (Çeviri)
This study aims to examine Type I error rates and statistical power of the Erasure Detection Index (EDI) when used in determining test tampering under different conditions (sample size, ability level, number of different items and fraudulent erasure rates). For this purpose, simulative response patterns for 250, 2500, 25000 and 49995 examinees were produced using the Nominal Response Model including 50 and 160 items. Three types of benign erasures, random, misalignment, and string-end erasures, were simulated in the datasets. Responses were tampered by making individually fixed and variable erasure to the datasets containing benign erasures. Then, combining datasets, datasets containing both types of benign erasure and fraudulent erasure were prepared for analysis. According to five different ability levels of 500, 5000, 50000 and 99990 sample sizes, in data sets of 50 and 160 items, Type I error rates and statistical power values produced by EDI with and without continuity correction were examined in alpha levels of .00001, .0001, .0005, .001, for 10%, 20% and 30% fraudulent fixed erasure and variable erasure. Without continuity correction, Type I error rates were generally not well controlled. The application of continuity correction decreased the Type I error rates at all alpha levels and caused a decrease in the statistical power. Type I error rates were better controlled in the 50-item datasets than the 160-item datasets. As the sample size increased, Type I error rates decreased. As the fixed erasure rates increased, the statistical power increased and the examinees were detected more accurately. It was determined that the statistical power increased as the ability level decreased. According to the findings of this study, it is recommended that large scale testing organizations should carry out studies to determine the test tampering with EDI in high-stakes tests in Turkey.
Benzer Tezler
- Pilot sea turtle monitoring at ims-metu beach, Erdemli, Turkey (North-Eastern Mediterranean) using novel tracking systems
Pilot deniz kaplumbağaları izleme takip sistemlerinin Odtü-Dbe Kumsalı'nda, Erdemli, Türkiye (Kuzey-Doğu Akdeniz) uygulanması
SİNEM CİHAN
Yüksek Lisans
İngilizce
2015
Deniz BilimleriOrta Doğu Teknik ÜniversitesiDeniz Biyolojisi ve Balıkçılık Ana Bilim Dalı
PROF. DR. AHMET ERKAN KIDEYŞ
- Ankara ili Nallıhan ilçesinde sürdürülebilir arazi kullanımı planlamaları kapsamında arazi tahribatının dengelenmesi ve model tabanlı erozyon değerlendirmelerinin uyumlaştırılması
Harmonizing model-based erosion assessments and land degradation neutrality under sustainable land use plannings in Ankara province Nallıhan district
REŞAT AKGÖZ
Doktora
Türkçe
2023
ZiraatAnkara ÜniversitesiToprak Bilimi ve Bitki Besleme Ana Bilim Dalı
PROF. DR. GÜNAY ERPUL
- Üniversite yerleşkelerinde açık alanların sosyal sürdürülebilirlik bağlamında değerlendirilmesi: Kocaeli Üniversitesi Anıtpark Yerleşkesi üzerine bir inceleme
Evaluation of open areas in university campus in the context of social sustainability: a study on anitpark campus of Kocaeli University
ESRA BARAN
Yüksek Lisans
Türkçe
2019
MimarlıkYıldız Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. AYŞEN CİRAVOĞLU DEMİRDİZEN
- Bitümlü sıcak asfalt karışımlarda geri dönüşüm ve Türkiye'deki uygulamaları
Bitumen recycling and applications in Turkey in hot mix asphalt
HÜLYA KUYUCU
Yüksek Lisans
Türkçe
2019
İnşaat MühendisliğiKTO Karatay Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ATİLLA ÖZÜTOK
- Polyester poliüretan biyodegredasyonu yapan aspergillus tubingensis' in İzmir' de alınan toprak örneklerinde varlığının araştırılması
An investigation on the presence of aspergillus tubingensis used for polyester polyurethane biodegradation in soil samples taken from İzmir
GONCAGÜL ÇELEBİ
Yüksek Lisans
Türkçe
2020
BiyolojiEge ÜniversitesiTemel ve Endüstriyel Mikrobiyoloji Ana Bilim Dalı
PROF. DR. ALEV HALİKİ UZTAN