Investigating the effectiveness of automated feedback and the impact of automated scoring on the variability and reliability of EFL writing scores
Otomatik geri bildirimin etkililiğinin ve otomatik puanlamanın İngilizce kompozisyon puanlarının değişkenliğine ve güvenirliğine etkisinin incelenmesi
- Tez No: 653486
- Danışmanlar: PROF. DR. MEHMET TAKKAÇ, DOÇ. DR. TURGAY HAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Otomatik kompozisyon değerlendirmesi (AWE), otomatik puanlayıcı, otomatik geri bildirim, öğretmen geri bildirimi, İngilizce kompozisyon değerlendirme, genellenebilirlik kuramı, puanlama değişkenliği, puanlama güvenirliği, automated writing evaluation (AWE), e-rater, automated feedback, teacher feedback, EFL writing assessment, generalizability theory, rating variability, rating reliability
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Atatürk Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: 193
Özet
Amaç: Bu çalışmanın amacı birleştirilmiş otomatik geri bildirim-öğretmen geribildirimi modelinin etkililiğini ve insan puanlayıcılar ile otomatik puanlayıcı tarafından verilen bütünsel puanların değişkenliğini ve güvenirliğini incelemektir. Yöntem: Birleştirilmiş otomatik geri bildirim-öğretmen geri bildirimi modelinin etkililiği yarı deneysel bir araştırma deseni uygulanarak araştırılmıştır. Çalışmanın verileri Yabancı Dil olarak İngilizce (EFL) öğrenen 75 birinci sınıf üniversite öğrencisinden elde edilmiştir. Kontrol grubu öğrencileri sadece öğretmenlerinden geri bildirim alırken deney grubu öğrencileri hem otomatik geri bildirim veren bir bilgisayar programından (Criterion) hem de öğretmenlerinden geri bildirim almıştır. Öğrenci anketi, yazma görevleri, hata analiz raporları, öğrenci görüşlerinin yansımaları ve odaklanmış grup görüşmeleri aracılığı ile hem nitel hem de nicel veri toplanmıştır. İnsan puanlayıcılar ve otomatik puanlayıcı tarafından verilen bütünsel puanların değişkenliğini ve güvenirliğini incelemek için detaylı bir puanlayıcı eğitimi alan 8 insan puanlayıcının daha önceden otomatik puanlayıcı tarafından puanlanmış 80 adet kompozisyonu otomatik puanlayıcının kullandığı 6-puanlı bütünsel dereceli puanlama anahtarını kullanarak puanlaması istenmiştir. Puanlama farklılıkları ve güvenirlik analizleri için Genellenebilirlik (G-) teorisi yaklaşımı kullanılmıştır. Results: Bu çalışmanın sonuçları birleştirilmiş otomatik geri bildirim-öğretmen geri bildirimi modelinin öğrencilerin yazma puanlarını artırmada öğretmen geri bildirimi kadar etkili olduğunu göstermiştir. Bununla birlikte, birleştirilmiş otomatik geri bildirim-öğretmen geri bildirimi modelinin dil bilgisi ve yazım ve noktalama kategorilerindeki hata sayılarını azaltmada öğretmen geri bildiriminden daha etkili olduğu ortaya çıkmıştır. G-kuramı analizleri detaylı bir puanlayıcı eğitimi verilmesine rağmen insan puanlayıcıların sınıf temelli kompozisyon değerlendirmesinde aynı kompozisyonlara önemli ölçüde birbirlerinden farklı puanlar verdiklerini göstermiştir. Ayrıca otomatik puanlayıcı puanlama sürecine katıldığında daha güvenilir puanlamalar elde edildiği sonucu ortaya çıkmıştır. Sonuç: Bu çalışmanın bulguları İngilizce kompozisyon yazma derslerinde kullanılmak üzere etkili bir geri bildirim modeli önermekte ve Türkiye'deki sınıf temelli İngilizce kompozisyon değerlendirme uygulamalarının nasıl iyileştirileceği gibi önemli bir soruna çözüm önerileri getirmektedir.
Özet (Çeviri)
Aim: The purpose of this study was to examine the effectiveness of a combined automated-teacher feedback model and the variability and reliability of holistic scores by human raters and e-rater. Method: The effectiveness of combined automated-teacher feedback was examined through a quasi-experimental research design. The data of the study were collected from 75 first year EFL university students. The experimental group students were exposed to combined automated-teacher feedback while the control group students received full teacher feedback. Both quantitative and qualitative data were collected through a student questionnaire, writing tasks, error analysis reports, student reflections, and focus group interviews. In order to examine the variability and reliability of holistic scores by human raters and e-rater, 8 human raters who received detailed rater training were required to score 80 essays which were pre-scored by e-rater using the 6-point holistic scoring scale used by e-rater. Generalizability (G-) theory approach was used for the variability and reliability analyses. Findings: The results of the study showed that combined automated-teacher feedback was as effective as full teacher feedback on the improvement of the students' writing scores. However, it was more effective than full teacher feedback in reducing the number of errors in the categories of grammar and mechanics. G-theory analyses revealed that the human raters assigned considerably inconsistent scores to the same EFL essays even though they were given detailed rater training. Additionally, more reliable ratings were obtained when e-rater was integrated in the scoring procedure. Conclusion: The findings of this study suggest an effective feedback model for EFL writing classes and raise an important issue about how to improve classroom-based writing assessment practices in Turkey.
Benzer Tezler
- İş zekası ve duygu analizi: Sakarya merkezli sosyal medya verilerinin doğal dil işleme yaklaşımlarıyla incelenmesi
Business intelligence and sentiment analysis: Examining Sakarya-centric social media data through natural language processing approaches
FURKAN SARAÇOĞLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL HAKKI CEDİMOĞLU
- Okuma güçlüğü olan öğrencilere uygulanan akıcı okuma ve okuduğunu anlamayı geliştirme programının (OKU-GEL) okuma becerileri üzerindeki etkililiği
The effectiveness of the fluent reading and reading comprehensiondevelopment program (OKU-GEL) applied to students with readingdifficulties in reading skills
ÖZER AKGÜN
Doktora
Türkçe
2023
Eğitim ve ÖğretimYakın Doğu ÜniversitesiÖzel Eğitim Ana Bilim Dalı
PROF. DR. AYŞE GÖNÜL AKÇAMETE
- Geleneksel üretim sistemlerinden tam zamanında üretim sistemine dönüşümünün tasarlanmasında simülasyon yaklaşımı
Başlık çevirisi yok
TİJEN ERTAY
- Markov zincirleri ile pazar payı tahmini ve renkli televizyon pazarına ilişkin bir uygulama
Market share estimation of colored TV with markov chains for the period of 1990-1995
BÜLENT MENGÜÇ
- The use of automated writing evaluation in EFL writing classes: Effects on achievement, motivation and self-efficacy
Otomatik yazma değerlendirmenin İngilizce yazma sınıflarında kullanımı: Başarı, motivasyon ve öz-yeterlik üzerindeki etkisi
TALHA ALTUNTAŞ
Yüksek Lisans
İngilizce
2021
Eğitim ve ÖğretimGazi ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. GONCA YANGIN EKŞİ