The impact of operationalization on differential feature functioning in automated essay scoring
Otomatik yazı skorlamada operasyonelleştirmenin değişen özellik fonksiyonu üzerindeki etkisi
- Tez No: 1019870
- Danışmanlar: PROF. DR. HACER HANDE UYSAL GÜRDAL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Otomatik yazı skorlama (Automated Essay Scoring, AES) sistemleri, İngilizceyi yabancı dil olarak öğrenen bireyler (ELL) için eğitimsel ve mesleki fırsatlara erişimde giderek daha fazla eleme mekanizması olarak işlev görmektedir. Buna karşın, değerlendirme rubriklerinin tasarımının belirli demografik grupları sistematik biçimde nasıl avantajlı ya da dezavantajlı konuma getirdiğini inceleyen araştırmalar sınırlıdır. Bu çalışma, AES temelli ikinci dil yazma değerlendirmelerinde rubriklerin işlevselleştirilme biçiminin, demografik gruplar arasında Değişen Özellik Fonksiyonu (Differential Feature Functioning, DFF) örüntüleriyle ne ölçüde ilişkili olduğunu incelemektedir. Üç aşamalı açıklayıcı-sıralı karma yöntem yaklaşımıyla yürütülen araştırmada, ELLIPSE Derlemi'nden alınan ve TOEFL CBT ile IELTS Writing Task 2 analitik rubrikleriyle eğitilmiş iki farklı AES sistemi tarafından puanlanan 6.482 yazı analiz edilmiştir. Birinci aşamada, madde tepki kuramına dayalı sıralı lojistik regresyon kullanılarak cinsiyet, ırk/etnik köken ve sosyoekonomik durumla ilişkili DFF örüntüleri belirlenmiştir. İkinci aşamada, rubriklerin işlevselleştirilme biçimleri Çerçeve Analizi yoluyla sistematik olarak karşılaştırılmıştır. Üçüncü aşamada ise 18 örnek yazı üzerinde tümdengelimsel içerik analizi yapılarak rubrik özellikleri ile demografiye özgü metinsel özellikler arasındaki etkileşimler izlenmiştir. Her ne kadar gözlenen DFF etkilerinin büyüklüğü küçük olsa da sistematik örüntüler ortaya çıkmıştır. TOEFL CBT'nin rubrik yapısı, ırk/etnik kökene dayalı DFF'yi azaltırken sosyoekonomik durum ve sınıf düzeyi için çaprazlama desenleri göstermiştir. Buna karşılık, IELTS Task 2'nin rubriği, yeterlik düzeylerine göre değişen belirgin ırk/etnik köken temelli DFF sergilemiş, ancak sosyoekonomik ayrışmayı daha sınırlı düzeyde yansıtmıştır. Bulgular, rubriklerin işlevselleştirilme biçiminin değerlendirme adaletine ilişkin geçerlik tartışmaları açısından önemli olduğunu ve yazma değerlendirmesinde geçerlik açısından önemli sonuçlar doğurduğunu göstermektedir.
Özet (Çeviri)
Automated Essay Scoring (AES) systems increasingly function as gatekeepers to educational and professional opportunities for English Language Learners (ELLs). However, limited research addresses how rubric design may systematically advantage or disadvantage specific demographic subgroups. This study examines the extent to which rubric operationalization is associated with Differential Feature Functioning (DFF) across demographic groups in AES-based L2 writing assessment. Utilizing a three-phase explanatory-sequential mixed-methods approach, the analysis included 6,482 essays from the ELLIPSE Corpus, each scored by two AES trained on the TOEFL CBT and IELTS Task 2 analytic rubrics. In Phase 1, Item Response Theory-based ordinal logistic regression was used to identify DFF patterns associated with gender, race/ethnicity, and socioeconomic status. Phase 2 involved Framework Analysis to systematically compare rubric operationalizations. Phase 3 used deductive content analysis of 18 sample essays to trace interactions between operationalizations and textual features observed in selected subgroup contexts. Although all observed DFF exhibited small effect sizes, systematic patterns were identified. The operationalization of the TOEFL CBT rubric (action verbs, countable criteria, and explicit thresholds) was associated with reduced race/ethnicity-based DFF but revealed crossing patterns for socioeconomic status. In contrast, the operationalization of the IELTS Task 2 rubric (state-of-being verbs, abstract descriptors, and holistic judgments) demonstrated pronounced race/ethnicity-based DFF with shifting advantages across ability levels, but less socioeconomic differentiation. These findings indicate that rubric operationalization may be relevant to fairness-oriented validity arguments in AES-based writing assessment. The results underscore fairness as a dynamic interaction between assessment design and demographic-based linguistic resources, with significant implications for validity in writing assessment.
Benzer Tezler
- Marka sermayesinin oluşumu ve tüketici satınalma kararındaki etkisinin dayanıklı tüketim malları sektöründe incelenmesi
Creation of brand equity and its effects on consumer interactions in the purchase of consumer durable goods
BUKET BESEN
Doktora
Türkçe
2002
İşletmeİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF.DR. SELİME SEZGİN
- Architecture and circular economy: Developing a building-scale circularity indicator
Mimarlık ve döngüsel ekonomi: Bina ölçeğinde döngüsellik indikatörü geliştirilmesi
BURCU KISMET
Doktora
İngilizce
2025
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MERYEM BİRGÜL ÇOLAKOĞLU
- Ticari diplomasinin ihracat performansına etkisinde ülke marka imajının rolü üzerine bir araştırma
An investigation into the role of country brand image in the impact of commercial diplomacy on export performance
MUHARREM CAN TİRANLAR
Doktora
Türkçe
2025
Uluslararası Ticaretİstanbul Ticaret ÜniversitesiUluslararası Ticaret Ana Bilim Dalı
PROF. DR. FİGEN YILDIRIM
- The contribution of rapport between interviewer and respondent on interview quality from non-sampling error perspective: Evidence from 2014 research on domestic violence against women in Turkey
Örneklem dışı hatalar perspektifinden görüşmeci ve cevaplayıcı arasındaki uyumun görüşme kalitesine katkısı: 2014 Türkiye'de kadına yönelik aile içi şiddet araştırması örneği
MELİKE SARAÇ
Doktora
İngilizce
2021
SosyolojiHacettepe ÜniversitesiSosyal Araştırma Yöntemleri Ana Bilim Dalı
PROF. DR. A. SİNAN TÜRKYILMAZ
- Modernizmin beden tüketimine etkisi: Estetik cerrahi operasyonlar örneği
The effect of modernism on body consumption: The case of plastic surgery operations
FATMA AYPARÇASI
Yüksek Lisans
Türkçe
2015
Sağlık Kurumları YönetimiSakarya ÜniversitesiSağlık Yönetimi Ana Bilim Dalı
YRD. DOÇ. DR. HARUN KIRILMAZ