Detecting plagiarism from ai language models in education systems
Değitim sistemlerinde yapay zeka dil modellerinden intihaltespiti
- Tez No: 856923
- Danışmanlar: YRD. DOÇ. DR. SELAMİ BAĞRIYANIK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Yapay Zeka Teknolojileri Ana Bilim Dalı
- Ana Bilim Dalı: Yapay Zeka Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 77
Özet
Eğitim alanının çağdaş manzarasında, yapay zekanın (Yapay Zeka - YZ) öğrenme ve araştırma metodolojilerini giderek daha fazla şekillendirdiği bir ortamda, YZ tarafından üretilen içeriği öğrenci tarafından yazılan eserlerden ayırt etme zorluğu acil bir sorun haline gelmiştir. Bu tez, özellikle GPT-3.5 ve GPT-4 gibi YZ dil modelleri tarafından oluşturulan içeriği öğrenciler tarafından yazılanlardan ayırt etmek için tasarlanmış sofistike bir intihal tespit aracı geliştirerek bu zorluğa yanıt vermektedir. Bu çabanın önemi, YZ'nin akademik süreçlerde giderek artan entegrasyonu ve akademik dürüstlüğü koruma zorunluluğu tarafından desteklenmektedir. Araştırma, çeşitli Doğal Dil İşleme (DDİ) modellerini - BERT, XLNet ve MPNet - 120 farklı test senaryosu üzerinde, değişen metin boyutları, karmaşıklıklar ve türler (insan tarafından yazılmış vs. YZ tarafından üretilmiş) dahilinde tükenmeyen bir test sürecini içermektedir. Bu sistemli yaklaşım, intihal tespit aracına entegre edilmek üzere en uygun modeli değerlendirmeyi ve belirlemeyi amaçlamıştır. Çalışmanın metodolojisi, doğruluk, hassasiyet, geri çağırma, F1 skorları ve işlem süreleri gibi çok yönlü bir analizi kapsayarak kapsamlı bir değerlendirme sağlamıştır. Bulgular, MPNet'in doğruluk, hassasiyet ve verimlilik açısından diğer modelleri geride bıraktığını, bu nedenle intihal tespit aracı için tercih edilen seçim olduğunu göstermiştir. Bu seçim, MPNet'in işlem hızı ve karmaşık metinleri işleme konusundaki üstün performansı ile daha da haklı çıkmıştır. Ayrıca, araştırma, API yanıt alma ve toplam kullanıcı bekleme süresi gibi teknik zorlukları ele almış, kullanıcı deneyimini geliştirmek için asenkron işlem ve arka plan operasyonlarını uygulamıştır.
Özet (Çeviri)
In the contemporary landscape of education, where artificial intelligence (AI) is increasingly shaping learning and research methodologies, the challenge of distinguishing AI-generated content from student-authored work has become a pressing concern. This thesis addresses this challenge by developing a sophisticated plagiarism detection tool designed to discern content created by AI language models, notably GPT-3.5 and GPT-4, from that written by students. The significance of this endeavor is underpinned by the growing integration of AI in academic processes and the imperative to maintain academic integrity. The research involved an exhaustive testing process of various Natural Language Processing (NLP) models—BERT, XLNet, and MPNet—across 120 different test scenarios, encompassing varying text sizes, complexities, and types (human-written vs. AI-generated). This systematic approach aimed to evaluate and determine the most suitable model for incorporation into the plagiarism detection tool. The study's methodology encompassed a multi-faceted analysis, including comparisons of accuracy, precision, recall, F1 scores, and processing times, thereby ensuring a comprehensive evaluation. The findings indicated that MPNet outperformed the other models in terms of accuracy, precision, and efficiency, making it the preferred choice for the plagiarism detection tool. This selection was further justified by MPNet's superior performance in processing speed and handling complex texts. Additionally, the research addressed technical challenges such as API response retrieval and total user wait time, implementing asynchronous processing and background operations to enhance user experience.
Benzer Tezler
- Plagiarism detection supported by web usage mining for Turkish textual documents
Türkçe metinsel dökümanlar için web kullanım madenciliği ile desteklenmiş intihal tespiti
MÜMİNE KAYA
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇukurova ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELMA AYŞE ÖZEL
- POS etiketlerinin N-gramlarına dayalı bir intihal tespit sistemi
A plagiarism detection system based on POS tag N-grams
KADİR YALÇIN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. İLYAS ÇİÇEKLİ
- Analyzing source codes and detecting similarities
Kaynak kodların analizi ve benzerlik tespit edilmesi
FATMA BOZYİĞİT
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. RECEP ALP KUT
- Genre-based academic integrity instruction in l2 writing: Effects on plagiarism, genai utilization, and writing performance
İkinci dil yazma becerisinde türe dayalı akademik dürüstlük eğitimi: İntihal, üretken yapay zeka kullanımı ve yazma performansı üzerindeki etkiler
NALAN ERÇİN KAMBUROĞLU
Doktora
İngilizce
2024
Eğitim ve ÖğretimÇanakkale Onsekiz Mart ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. SALİM RAZI
DOÇ. DR. KUTAY UZUN
- Plagiarism detection in learning management system
İntihal öğrenme içinde tespıt yönetim sistemi
ARKAN KH. SHAKR
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiYRD. DOÇ. DR. ABDÜL KADİR GÖRÜR