Geri Dön

Yapay zekâ destekli büyük dil modellerinin inşaat mühendisliği eğitimindeki yeterliliğinin irdelenmesi: Chatgpt örneği üzerinden öğrenci performanslarının, yanıt tutarlılığının ve istem mühendisliği tekniklerinin karşılaştırmalı analizi

Evaluation of the competence of artificial intelligence–powered large language models in civil engineering education: A comparative analysis of student performance, response consistency and prompt engineering techniques using Chatgpt as a case study

PDF İndir

  1. Tez No: 1011530
  2. Yazar: SİMGE DURGUN
  3. Danışmanlar: DOÇ. DR. OLCAY GENÇ
  4. Tez Türü: Yüksek Lisans
  5. Konular: İnşaat Mühendisliği, Civil Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Bursa Uludağ Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: İnşaat Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Yapı İşletmesi Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Yapay zekâ teknolojilerindeki hızlı gelişmeler ve büyük dil modellerinin gelişimi, yükseköğretim süreçlerinde yeni fırsatlar ve tartışmalar doğurmuştur. Bu teknolojilerin eğitim süreçlerine entegrasyonu tartışılırken, teknik bilgi ve analitik düşünme gerektiren inşaat mühendisliği eğitimi özelinde, büyük dil modelerinin yetkinliğine dair kapsamlı veri eksikliği bulunmaktadır. Bu tez çalışması, OpenAI tarafından geliştirilen ChatGPT-4o modelinin, inşaat mühendisliği lisans eğitimi kapsamındaki akademik performansını, problem çözme yeteneğini, tutarlılığını ve sınırlılıklarını gerçek sınav soruları üzerinden sistematik olarak değerlendirmeyi, modelin güçlü ve zayıf yönlerini ortaya koymayı amaçlamaktadır. Araştırmanın veri seti, Türkiye'deki bir devlet üniversitesinin İnşaat Mühendisliği Bölümü müfredatında yer alan 25 farklı dersin toplam 295 sınav sorusundan oluşmaktadır. Çalışmada karma yöntem deseni benimsenmiş olup modelin ürettiği yanıtlar ilgili derslerin öğretim üyeleri tarafından akademik doğruluk ve yeterlilik açısından değerlendirilmiştir. Elde edilen veriler, Z-puanı, yüzdelik sıralamalar ve tek örneklem t-testi kullanılarak öğrenci notlarıyla istatistiksel olarak karşılaştırılmıştır. Yanıtların tutarlılığı BLEU, METEOR ve Kosinüs Benzerliği metrikleri ile; bu metrikler ve uzman değerlendirmeleri arasındaki ilişkiler ise Spearman korelasyon analiziyle incelenmiştir. ChatGPT tarafından tamamen yanlış yanıtlandığı belirlenen sorularda farklı istem mühendisliği tekniklerinin yanıt kalitesi üzerindeki etkisi incelenmiştir. Araştırma bulguları, ChatGPT-4o'nun teorik bilgi aktarımı, kavramsal açıklama ve standart formül tabanlı hesaplama sorularında yüksek başarı gösterdiğini; incelenen derslerin %84'ünde (21 ders) öğrenci ortalamalarının üzerinde bir performans sergilediğini ortaya koymuştur. Buna karşın modelin görsel yorumlama, şematik çizim üretme, karmaşık geometrik analizler yapma ve yerel yönetmeliklere uyum sağlama konularında belirgin sınırlılıkları olduğu tespit edilmiştir. Metinsel benzerlik analizleri, modelin genel olarak tutarlı yanıtlar ürettiğini, ancak yanlış ya da belirsiz durumlarda tekrarlanabilirliğin azaldığını ortaya koymuştur. İstem mühendisliği analizleri sonucunda, özellikle“Düşünce Ağacı”istem tekniğinin, karmaşık problemlerde modelin akıl yürütme yeteneğini geliştirerek doğruluk oranını artırdığı belirlenmiştir. Sonuç olarak bu çalışma, ChatGPT'nin inşaat mühendisliği eğitiminde güçlü bir yardımcı araç potansiyeli taşıdığını göstermektedir. Gelecek uygulamalar ve politika değişiklikleri için; görsel ve tasarıma dayalı konularda insan denetiminin zorunlu tutulması, öğrencilere yönelik doğruluk kontrolü ve etik kullanım rehberlerinin hazırlanması ve karmaşık geometrilerin yorumlanmasına yönelik özel eğitim veri setlerinin oluşturulması önerilmektedir. İlerideki araştırmaların, lisansüstü düzeydeki dersleri kapsaması ve farklı dil modelleriyle karşılaştırmalı analizlere odaklanması alanın gelişimi açısından önem arz etmektedir.

Özet (Çeviri)

Rapid advances in artificial intelligence technologies and the development of large language models have created new opportunities and debates in higher education. While the integration of these technologies into educational processes is being discussed, there is a lack of comprehensive data regarding the competence of large language models specifically within civil engineering education, which requires technical knowledge and analytical thinking. This thesis aims to systematically evaluate the academic performance, problem-solving ability, consistency, and limitations of ChatGPT-4o, a model developed by OpenAI, within the scope of undergraduate civil engineering education using real exam questions, and to identify the model's strengths and weaknesses. The dataset of the study consists of a total of 295 exam questions from 25 different courses included in the curriculum of the Department of Civil Engineering at a public university in Türkiye. A mixed-methods research design was adopted, and the responses generated by the model were evaluated by the instructors of the relevant courses in terms of academic accuracy and adequacy. The obtained data were statistically compared with student grades using z-scores, percentile rankings, and one-sample t-tests. The consistency of the responses was examined using BLEU, METEOR, and Cosine Similarity metrics, and the relationships between these metrics and expert evaluations were analyzed through Spearman correlation analysis. For the questions that were determined to be answered completely incorrectly by ChatGPT, the impact of different prompt engineering techniques on response quality was investigated. The findings indicate that ChatGPT-4o demonstrates high performance in questions involving theoretical knowledge transfer, conceptual explanation, and standard formula-based calculations, and that it outperforms student averages in 84% (21 courses) of the courses examined. In contrast, the model was found to have notable limitations in visual interpretation, generating schematic drawings, performing complex geometric analyses, and complying with local regulations. Textual similarity analyses revealed that the model generally produces consistent responses, but that repeatability decreases in cases where the answers are incorrect or ambiguous. As a result of the prompt engineering analyses, it was determined that especially the“Tree-of-Thought”prompting technique enhance the model's reasoning ability and increase accuracy rates in complex problems. In conclusion, this study demonstrates that ChatGPT has strong potential as a supportive tool in civil engineering education. For future implementations and policy changes, it is recommended that human oversight be mandated in visually and design-oriented topics, that guidance documents on accuracy checking and ethical use be prepared for students, and that dedicated training datasets be developed for the interpretation of complex geometries. Future research should encompass graduate-level courses and focus on comparative analyses with different language models, which is of importance for the advancement of the field.

Benzer Tezler

  1. Tez No

    1000058

    Construction dispute resolution in the age of AI: Bridging the gap between engineering reality and legal doctrine in Türki̇ye

    Yapay zeka çağında inşaat uyuşmazlıklarının çözümü: Türkiye'de mühendislik gerçekliği ile hukuk doktrini arasındaki boşluğun köprülenmesi

    HASAN EFEKAN BİLEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR BEHZAT TOKDEMİR

  2. Tez No

    1019841

    A large language model (LLM)-based framework for bid/no-bid decision support in construction public procurement: Validated on romanian tenders

    İnşaat kamu ihalelerinde teklif verme / vermeme karar desteği için büyük dil modeli (LLM) tabanlı bir çerçeve: Romanya ihaleleri üzerinde doğrulama

    ELİF GÜLİN PETEK

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR BEHZAT TOKDEMİR

  3. Tez No

    1000067

    Artificial intelligence driven arbitration: A new approach for efficient arbitrator selection in construction disputes

    Yapay zeka destekli tahkim: İnşaat uyuşmazlıklarında etkin hakem seçimi için yeni bir yaklaşım

    MOHAMMAD MOBADERSANI

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR BEHZAT TOKDEMİR

    DR. ALİ BEDİİ CANDAŞ

  4. Tez No

    932053

    A conceptual model for image recognition based progress monitoring: retail construction and finishing works

    Görüntü tanıma tabanlı ilerleme takibi için kavramsal bir model: perakende inşaat ve ince yapı işleri

    SALİH KAAN MAZLUM

    Doktora

    İngilizce

    İngilizce

    2025

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. BEGÜM SERTYEŞİLIŞIK

  5. Tez No

    1010818

    Ai-powered EFL writing assessment: Investigating the validity and reliability of large language models in automated scoring

    Yapay zekâ destekli İngilizce yazma değerlendirmesi: Otomatik puanlamada büyük dil modellerinin geçerlik ve güvenirliğinin incelenmesi

    İREM SILA ÖZER

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    Eğitim ve ÖğretimÇanakkale Onsekiz Mart Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. SALİM RAZI

    DR. ÖZGÜR ÇELİK

Geri Dön