A comparative analysis of AI-tools and English teachers in writing assessment
İngilizce yazılı metinlerin yapay zekâ ve İngilizce öğretmenleri tarafından değerlendirilmesinin karşılaştırmalı analizi
- Tez No: 917794
- Danışmanlar: DOÇ. DR. SEDAT AKAYOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Doğal dil işleme, Düzeltici dönüt, Yabancı dil eğitimi, Yabancı dil öğrenimi, Yabancı dil öğretimi, Yazılı düzeltme geri bildirimi, Öğretmen dönütü, İngiliz dili, Natural language processing, Corrective feedback, Foreign language education, Foreign language learning, Foreign language teaching, Written corrective feedback, Teacher feedback
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Bolu Abant İzzet Baysal Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu araştırma, yazma görevlerinin yapay zekâ teknolojileri ile İngilizce öğretmenleri tarafından değerlendirilmesini karşılaştırmaya odaklanmaktadır. Gelişen teknolojinin eğitimin tüm alanlarındaki artan rolü ve yapay zekâ araçlarının kullanımındaki son artış, bu çalışmanın temel motivasyon kaynakları olmuştur. Araştırma, yapay zekâ tarafından yapılan değerlendirmeler ile İngilizce öğretmenleri tarafından yapılan değerlendirmeler arasındaki benzerlik ve farklılıkları ayrıntılı bir şekilde incelemeyi ve bu sonuçların olası nedenlerine dair içgörüler sağlamayı amaçlamaktadır. Buna ek olarak bu araştırma, ChatGPT, BingAI, ve Gemini isimli yapay zekâ tabanlı geliştirilmiş modellerin de değerlendirme ve geribildirimleri arasındaki farkları da incelemiştir. Çalışma, verilerin niceliksel yönü olarak puanlamayı ve niteliksel yönü olarak geri bildirimi ele alan karma yöntem araştırma tasarımını kullanmaktadır. Veri toplama sürecinde, Bolu Abant İzzet Baysal Üniversitesi'nden on birinci sınıf öğretmen adayı, anlatı (narrative), açıklayıcı (expository) ve tartışmacı (argumentative) olmak üzere üç farklı türde deneme yazıları yazmaya davet edilmiştir. Bu denemeler, beş adet İngilizce öğretmeni ve ChatGPT, BingAI ve Gemini olmak üzere üç yapay zekâ aracı tarafından değerlendirilmiştir. Değerlendirme süreci, TOEFL IBT Yazma değerlendirme rubriği kullanılarak gerçekleştirilmiş ve dört ana kriter dikkate alınmıştır: Göreve Yanıt (Task Response), Organizasyon (Organization), Tutarlılık (Coherence) ve Dil Kullanımı (Language Use). Bu dört kriterin yanı sıra, daha ayrıntılı ve kapsamlı bir puanlama ve geri bildirim elde edebilmek için“Genel”(Overall) kısmı da başka bir kriter olarak eklenmiştir. Sonuçlar karşılaştırmalı bir analizle incelenmiş ve altta yatan nedenler belirlenmiştir. Araştırma sonuçları, yapay zekâ tabanlı sohbet botlarının puanlama ve kaliteli geri bildirim verme açısından öğretmenlerle eşit performans sergilediğini, ancak bazı belirgin farklılıklar olduğunu göstermektedir. Bu araştırmanın bulguları, yapay zeka teknolojilerinin avantajları ve sınırlamaları hakkında değerli bilgiler sunmaktadır. Ayrıca, bu teknolojilerin eğitim programlarına nasıl etkili bir şekilde entegre edilebileceğine dair anlamlı bir bakış açısı sağlayacaktır.
Özet (Çeviri)
This research focuses on comparing the evaluation of writing tasks by artificial intelligence technologies and English language teachers. The increasing role of advancing technology in all areas of education and the recent surge in the use of AI tools have been the primary motivations for this study. The research aims to thoroughly examine the similarities and differences between the evaluations conducted by AI and those by English language teachers, providing insights into the possible reasons behind these outcomes. Additionally, this research also examined the differences between the AI enhanced chatbots that are ChatGPT, BingAI, and Gemini, in terms of grading and giving feedback. The study uses a mixed-method research design considering grading as quantitative and feedback as qualitative aspect of the data. During the data collection process, ten first-year teacher candidates from Bolu Abant Izzet Baysal University were asked to write three different types of essays which are narrative essays, expository essays, and argumentative essays. These essays were then evaluated by five English language teachers and three AI tools that are ChatGPT, BingAI, and Gemini. This process of evaluation will be conducted using TOEFL IBT Writing evaluation rubric considering four main criteria which are Task Response, Organization, Coherence, and Language Use. In addition to the four criteria, to get more elaborate and comprehensive grading and feedback“Overall”part will be added as another criterion. A comparative analysis of the results was conducted, and the underlying causes are identified. The results indicate that in terms of grading and giving quality feedback, chatbots performed on-par with teachers despite some noticeable differences. The findings of this research offer valuable insights into the advantages and limitations of AI technologies. Furthermore, it will provide a meaningful perspective on how these technologies can be effectively integrated into educational programs.
Benzer Tezler
- A comparison of AI-based chatbot feedback and teacher-written feedback in EFL writing class
İngilizce yazma dersinde yapay zeka destekli chatbot geri bildirim ile öğretmenin yazılı geri bildiriminin karşılaştırılması
SEMA YILDIZ HUSEYNOV
Yüksek Lisans
İngilizce
2025
Eğitim ve ÖğretimMaltepe ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. AYSU ARYEL ERDEN
- İngilizce öğretmen adaylarının yapay zekanın yansıtıcı öğretmen eğitiminde kullanımına yönelik görüşleri
Pre-service English teacher views on the use of artificial intelligence in reflective teacher education
PERİHAN SERRA KAYA
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DOÇ. DR. GALİP KARTAL
- Öğretmen adaylarının chatgpt destekli İngilizce dil öğretimi ve öğrenimi hakkındaki görüşlerinin incelenmesi
An investigation of pre-service teachers' views on chatgpt-supported English language teaching and learning
HALİME NUR SAMAN
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA SERKAN ÖZTÜRK
- Integrating artificial intelligence into english as a foreign language young learner clasrooms: Investigation of teachers' perspectives
Yabancı dil olarak ingilizce öğretiminde erken yaş öğrenci sınıflarına yapay zekâ entegrasyonu: Öğretmen görüşlerinin incelenmesi
RUKİYE ÖZKAN
Yüksek Lisans
İngilizce
2025
Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesiİngiliz Dili Öğretimi Ana Bilim Dalı
PROF. DR. PERİHAN SAVAŞ
- Human vs. AI scoring in EFL writing: A criterion-based investigation within the CEFR context
Yabancı dil olarak İngilizce yazma becerisinde insan ve yapay zekâ puanlaması: CEFR bağlamında ölçüt temelli bir inceleme
TALHA KAYALI
Yüksek Lisans
İngilizce
2025
İngiliz Dili ve Edebiyatıİstanbul Aydın ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EYYÜP YAŞAR KÜRÜM