Akademik alanda yapay zekâ araçları tarafından üretilen içeriklerin tespit edilmesine yönelik bir uygulama
An application for detecting content produced by artificial intelligence tools in academic field
- Tez No: 976620
- Danışmanlar: DOÇ. DR. ONUR SEVLİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Burdur Mehmet Akif Ersoy Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay zekâ teknolojilerinin özellikle doğal dil işleme alanında gösterdiği hızlı gelişim, metin üretimi ve içerik düzenleme süreçlerinde köklü dönüşümlere yol açmıştır. Üretken dil modellerinin, özellikle akademik yazım süreçlerinde yaygın biçimde kullanılmaya başlanması, insan üretimi metinler ile yapay zekâ destekli içerikler arasındaki ayrımı zorlaştırmakta; bu durum, akademik etik, içerik güvenliği ve yayıncılık ilkeleri açısından çeşitli sorunları gündeme getirmektedir. Bu çalışmanın temel amacı, akademik metinlerde yapay zekâ tarafından oluşturulmuş içerikleri yüksek doğrulukla tespit edebilen sınıflandırma modeli geliştirmektir. Çalışma kapsamında 2022 öncesi Türkçe akademik makalenin özetleri seçilmiştir. Sağlık, mühendislik, eğitim bilimleri ve sosyal bilimler gibi çeşitli alanlarda, ULAKBİM, Scopus, Web of Science gibi dizinlerde taranan dergilerde yayımlanmış 2.000 adet Türkçe akademik makale kullanılarak özgün bir veri seti oluşturulmuştur. Veri setinde orijinal metinlerin yanında, orijinal makale verilerin üzerinden ChatGPT, Smodin ve Gemini gibi üretken yapay zekâ araçları kullanılarak üretilen özetler ve yine orijinal özetlerinin üretken yapay zekâ uygulamaları tarafından yeniden düzenlenmiş hallerinden (paraphrase) oluşan üç sınıflı (Gerçek Veri, Yapay Zekâ, Düzenlenmiş) halinde genişletilmiştir. Böylece toplamda 6.000 adet dengeli bir veri seti oluşturulmuştur. Sınıflandırma işlemlerinden derin sinir ağı temelli ve literatürde yaygın kullanılan XLM-Roberta, TurkishBERT ve Bert Base Multilingual modelleri kullanılmıştır Model performanslarının değerlendirilmesinde doğruluk, kesinlik, duyarlılık ve F1 skoru gibi ölçütler esas alınmıştır. Söz konusu metrikler doğrultusunda analiz edilerek modellerin sınıflandırma başarımı karşılaştırılmıştır. Elde edilen sonuçlar değerlendirildiğinde, XLM-Roberta modelinin %97,22 Bert Base Multilingual modeli %96,40 ve TurkishBERT modeli ise %90,22 en yüksek doğruluk değerine ulaşmıştır. Elde edilen bulgular, geliştirilen sınıflandırıcının akademik metinlerdeki yapay zekâ içeriklerini tespit etmede etkili olduğunu göstermektedir. Kullanılan modellerin sağladığı yüksek performans hem akademik içeriklerin orijinalliğini kontrol etmek hem de özgün bilimsel üretkenliği artırmak açısından önemli bir adım olarak değerlendirilebilir. Bu çalışma, akademik etiğe katkı sağlamakta ve bilimsel çalışmalarda şeffaflık ve güvenilirliği artırmaya yardımcı olmaktadır.
Özet (Çeviri)
The rapid development of artificial intelligence technologies, particularly in the field of natural language processing, has led to fundamental changes in text production and content editing processes. The widespread use of generative language models, especially in academic writing processes, has made it difficult to distinguish between human-generated texts and AI-supported content, raising various issues in terms of academic ethics, content security, and publishing principles. The main objective of this study is to develop a classification model that can accurately detect AI-generated content in academic texts. For this study, abstracts of Turkish academic articles published before 2022 were selected. A unique dataset was created using 2,000 Turkish academic articles published in journals indexed in databases such as ULAKBİM, Scopus, and Web of Science, covering various fields such as health, engineering, educational sciences, and social sciences. In addition to the original texts, the dataset was expanded to include three classes (Real Data, Artificial Intelligence, and Edited): summaries generated using generative artificial intelligence tools such as ChatGPT, Smodin, and Gemini, and rephrasings of the original summaries by generative artificial intelligence applications. This resulted in a balanced dataset of 6,000 items. For the classification process, deep neural network-based models widely used in the literature, such as XLM-Roberta, TurkishBERT, and Bert Base Multilingual, were employed. The performance of the models was evaluated based on criteria such as accuracy, precision, sensitivity, and F1 score. The models' classification performance was compared by analyzing them according to these metrics. When the results were evaluated, the XLM-Roberta model achieved the highest accuracy value of 97.22%, the Bert Base Multilingual model achieved 96.40%, and the TurkishBERT model achieved 90.22%. The findings show that the developed classifier is effective in detecting artificial intelligence content in academic texts. The high performance provided by the models used can be considered an important step in both checking the originality of academic content and increasing original scientific productivity. This study contributes to academic ethics and helps to increase transparency and reliability in scientific studies.
Benzer Tezler
- A case study on the use of AI-generated music in video game development
Video geliştirme sürecinde yapay zeka ile üretilen müziklerin kullanımına ilişkin bir vaka çalışması
ÜLKÜ NUR NAR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı (disiplinlerarası)
DR. ÖĞR. ÜYESİ OZAN SARIER
- COLREGs-compliant and non-prioritized motion planning for autonomous unmanned surface vehicles
Otonom insansız deniz araçları için COLREG-uyumlu ve önceliksiz hareket planlaması
MUSTAFA BAYRAK
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Medeniyet ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HALUK BAYRAM
- ChatGPT vs. teacher feedback: Impact on university preparatory class essay writing quality
ChatGPT ve öğretmen geri bildirimi: Üniversite hazırlık sınıfı deneme yazma kalitesi üzerindeki etkisi
HATİCE ESLEM BAŞAR
Yüksek Lisans
İngilizce
2026
Eğitim ve ÖğretimHacettepe ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. ELENA ANTONOVA ÜNLÜ
- Taxonomy and visualization of digital architecture knowledge: Proposal for a scientific online encyclopedia
Dijital mimarlık bilgisinin taksonomisi ve görselleştirilmesi: Bilimsel bir çevrim içi ansiklopedi önerisi
ESRANUR KARACİF