Geri Dön

Üniversitelerin idari süreçlerini iyileştirmek için akıllı konuşma aracı geliştirme: Sakarya Üniversitesi vaka çalışması

Developing an intelligent conversational agent to improve administrative processes at universities: A case study of Sakarya University

PDF İndir

  1. Tez No: 948058
  2. Yazar: KANAAN AL JAF
  3. Danışmanlar: PROF. DR. CEMİL ÖZ
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Sakarya Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 157

Özet

Eğitim kurumlarında artan öğrenci nüfusu ve sınırlı idari kaynaklar geleneksel iletişim yöntemlerini zorlamaktadır. Sohbet robotları potansiyel bir çözüm sunarken, mevcut modeller önemli sınırlamalarla karşı karşıyadır: kural tabanlı sohbet robotları katıdır ve açık uçlu sorgularla mücadele eder, Geri getirmeli sohbet robotları büyük ölçüde önceden tanımlanmış veri kümelerine dayanır ve üretken modeller yanlışlıklara eğilimlidir. Bu zorlukların üstesinden gelmek için bu tez, Sakarya Üniversitesi'ni bir vaka çalışması olarak kullanarak eğitim kurumlarında idari desteği iyileştirmeyi amaçlayan hibrit bir sohbet robotu modeli önermektedir. İlk olarak, eğitim yönetiminde chatbot uygulamalarının mevcut durumunu değerlendirmek, temel sınırlamaları ve boşlukları belirlemek için kapsamlı bir literatür taraması yapılmıştır. Bu bulgulara dayanarak, idari sohbet robotları geliştirmek için genel bir çerçeve önerilmiştir. Ardından, Kabul ve Kayıt, Akademik İşler, Mali Konular, Öğrenci Hizmetleri, Kampüs Hayatı ve Genel Bilgiler gibi kategorileri kapsayan alana özgü bir veri kümesi oluşturulmuştur. Toplam 2.253 konuşma satırından oluşan bu veri kümesi üniversitenin web sitesinden, Sıkça Sorulan Sorular sayfalarından, idari personelden ve öğrenci geri bildirimlerinden derlenmiştir. Üç farklı sohbet robotu modeli (kural tabanlı, Geri getirmeli ve üretici tabanlı) geliştirildi ve idari görevleri yerine getirmedeki etkinliklerini belirlemek için değerlendirildi. Üç modelin değerlendirilmesi ve karşılaştırmalı analizine göre, kural tabanlı model, Kabul ve Kayıt ile Mali Konularla ilgili sorguları işleme konusunda üstün performans gösterdi. Geri getirmeli modelin, Akademik İşler, Öğrenci Hizmetleri ve Kampüs Yaşamı ile ilgili sorguları ele almada daha etkili olduğu görüldü. Öte yandan, üretken model, Çapraz Alan Sorgularını yönetme ve Genel Bilgi sorgularına yanıt verme konusunda üstünlük gösterdi. Sınıflandırıcıları eğitmek amacıyla, Sorgu (Query) ve Kategori (Category) olmak üzere iki özelliğe sahip özel bir veri kümesi oluşturulmuştur. Veri kümesi, her biri 100 örnek içeren yedi kategoriden oluşmaktadır. Daha sonra, her bir yaklaşımın güçlü yönlerinden yararlanarak sorguları en uygun modele yönlendirmek için bir sınıflandırıcı uygulandı. Test edilen çeşitli sınıflandırma algoritmaları (Multinomial Naïve Bayes, Support Vector Machines (SVM), Random Forest (RF) ve Sinir Ağları) arasından Multinomial Naïve Bayes, üstün hesaplama verimliliği ve performans dengesi nedeniyle seçilmiştir. Hibrit model üç aşamada değerlendirilmiştir. İlk olarak, Doğruluk, Kesinlik, Geri Çağırma ve F1-Skoru kullanılarak kendi bileşenleriyle karşılaştırılmış ve tüm ölçütlerde üstün performans göstermiştir. İkinci olarak, hedef hizalama, veri yönetimi, model seçimi, değerlendirme metodolojisi ve doğruluk gibi temel faktörler göz önünde bulundurularak literatürdeki en iyi uygulama sohbet robotlarıyla kıyaslanmıştır. Sonuçlar, hibrit modelin eğitim yönetimindeki kritik tasarım ve değerlendirme zorluklarını ele alma yeteneğini vurgulamıştır. Son olarak, kullanıcı kabulü adresinde Algılanan Kullanışlılık, Algılanan Kullanım Kolaylığı, Güven, Etkililik ve Bağlılığı içeren uyarlanmış bir Teknoloji Kabul Modeli (TAM) kullanılarak değerlendirilmiştir. Kullanıcı geri bildirimleri modelin güvenilirliğini, verimliliğini ve kullanılabilirliğini doğrulamıştır. Önerilen hibrit sohbet robotu modeli, rutin görevleri otomatikleştirerek ve bilgiye günün her saati erişim sağlayarak idari iş yükünü azaltmakta, öğrenci katılımını artırmakta ve kişiselleştirilmiş eğitim desteğinde gelecekteki ilerlemeler için bir temel oluşturmaktadır. Ayrıca, modelin esnekliği, hasta soruları için sağlık hizmetleri veya müşteri desteği için e-ticaret gibi diğer alanlara uyarlanmasına izin vererek ölçeklenebilirliğini ve geniş uygulanabilirliğini göstermektedir.

Özet (Çeviri)

The rapid expansion of student populations in higher education institutions has placed significant pressure on administrative systems, particularly in settings where digital transformation is still in progress. Administrative staff often struggle to meet the growing demands of students seeking timely and accurate information on academic procedures, financial matters, campus services, and general institutional queries. Traditional communication methods such as in-person visits, phone calls, and emails have proven to be inefficient and unsustainable, especially in delivering real-time, around-the-clock support. These limitations have spurred the search for scalable and intelligent solutions capable of automating routine interactions while enhancing user satisfaction. Chatbots have emerged as a promising technological intervention for this purpose. Designed as conversational agents capable of simulating human-like interactions, they are increasingly adopted in various industries for tasks involving customer support, information dissemination, and transactional assistance. However, despite their growing popularity, the use of chatbot technologies in educational administration remains relatively limited. Moreover, existing chatbot architectures namely rule-based, retrieval-based, and generative models each have inherent limitations that restrict their effectiveness when used in isolation. Rule-based models rely on pre-defined patterns and responses, making them accurate for fixed queries but incapable of handling variations or unstructured input. Retrieval-based models leverage similarity measures to fetch the most relevant response from a dataset but are limited to what the system has already seen. Generative models, powered by large language models, offer open-ended conversational capabilities but can produce misleading or inaccurate outputs, especially when they“hallucinate”information not grounded in the dataset. To address these deficiencies, this dissertation proposes a novel hybrid chatbot model that intelligently combines rule-based, retrieval-based, and generative approaches. The core of the hybrid system lies in a modular architecture guided by a machine learning-based classifier that determines the best module to respond to each incoming query. The classifier routes user inputs to the most suitable chatbot component, maximizing the system's performance and contextual relevance. The research uses Sakarya University as a case study, offering both practical validation and empirical grounding for the proposed model in a real-world educational setting. The study begins with a thorough review of the existing literature on chatbot applications in higher education. This analysis highlights the lack of standardized development frameworks, inconsistencies in evaluation methodologies, and insufficient focus on administrative chatbot systems. Most prior work has centered on chatbots designed for teaching and learning support, while the administrative domain remains underexplored. To fill this gap, the thesis proposes a structured framework for designing, developing, and evaluating chatbots tailored to academic administration. The framework outlines a complete process that includes domain-specific data preparation, modular architecture design, classifier-based query routing, and a rigorous multi-layer evaluation approach. Central to the development of the proposed hybrid model is a domain-specific dataset curated from Sakarya University. The dataset consists of 2,253 real-world question-answer pairs, derived from official university websites, FAQ sections, student feedback, and consultations with administrative staff. These queries were categorized into seven primary domains: Admissions and Registration, Academic Affairs, Financial Matters, Student Services, Campus Life, Cross-Domain Queries, and General Information, and were further refined into seventeen subcategories to ensure nuanced classification and response accuracy. The diversity and authenticity of the dataset enabled the training of robust models capable of handling a wide range of administrative inquiries. Using this dataset, three distinct chatbot models were developed. The rule-based chatbot was implemented using Artificial Intelligence Markup Language (AIML), optimized for handling structured, predictable queries. The retrieval-based chatbot employed TF-IDF and cosine similarity techniques to locate the best match from the dataset for each input. The generative model was built using the FLAN-T5 architecture, a transformer-based language model pre-trained on a wide array of textual data, enabling it to generate responses dynamically. Each of these models was fine-tuned to operate most effectively within specific query contexts, highlighting their individual strengths and limitations. Based on the evaluation and comparative analysis of the three models, the rule-based model demonstrated superior performance in handling queries related to Admissions and Registration, as well as Financial Matters. The retrieval-based model proved more effective in responding to queries concerning Academic Affairs, Student Services, and Campus Life. In contrast, the generative model excelled in managing Cross-Domain Queries and addressing General Information inquiries. These findings informed the development of a specialized dataset to train the classifier. The dataset comprises two attributes: Query and Category, and encompasses seven categories, each represented by 100 samples. To ensure efficient routing of user queries, a Multinomial Naïve Bayes classifier was developed. The classifier was trained on a labeled subset of the dataset, learning to categorize queries based on their content and intended information domain. Several alternative classifiers including Support Vector Machines, Random Forests, and Neural Networks were tested, but Multinomial Naïve Bayes was ultimately selected due to its balance between classification accuracy and computational efficiency. The classifier proved highly effective in routing queries to the appropriate chatbot module, enabling the hybrid model to deliver both accurate and contextually relevant responses. Evaluation of the hybrid chatbot model was conducted in three distinct stages. First, a technical performance comparison was made between the hybrid system and its individual components. Using metrics such as Accuracy, Precision, Recall, and F1-Score, the hybrid model consistently outperformed each of its constituent models across all evaluation parameters. Second, the hybrid model was benchmarked against best-practice chatbot implementations reported in the literature. Factors such as objective alignment, data handling practices, model architecture, and performance metrics were used to guide this comparative analysis. The hybrid model demonstratedclear advantages, particularly in its ability to handle diverse and context-sensitive queries more reliably than single-model approaches. The third stage of evaluation focused on user-centered validation. A customized Technology Acceptance Model (TAM) was used to assess users' perceptions of the chatbot's usability, usefulness, trustworthiness, effectiveness, and engagement. Surveys were distributed to a representative sample of students and administrative staff at Sakarya University. The responses indicated strong user approval of the hybrid model, with high scores reported across all TAM constructs. Users appreciated the precision of the rule-based component, the contextual alignment of the retrieval-based responses, and the conversational flexibility of the generative module. Moreover, the classifier's ability to seamlessly route queries without user intervention contributed to a smooth and satisfactory user experience. Beyond its practical implementation at Sakarya University, the hybrid chatbot model developed in this thesis is designed to be adaptable not only to other universities but also to entirely different domains.. Its modular architecture allows for customization and scalability, making it suitable for deployment in sectors such as healthcare, where patient inquiries must be handled accurately and sensitively, or in e-commerce, where customer support needs to be fast, informative, and always available. The general framework and evaluation methodology proposed in this study can serve as a foundational guideline for future research and development of domain-specific chatbot systems. This dissertation makes a significant contribution to the field of intelligent conversational systems in education by proposing and validating a hybrid chatbot model that overcomes the limitations of existing individual approaches. The system's effectiveness in improving response accuracy, user satisfaction, and institutional efficiency has been demonstrated through both quantitative metrics and qualitative feedback. By integrating rule-based logic, retrieval-based adaptability, and generative flexibility, guided by intelligent classification, the proposed hybrid model presents a scalable and reliable solution for administrative support in educational institutions. The study not only advances academic understanding of chatbot design but also provides a working prototype that can be adapted for practical use across various domains in need of intelligent communication tools.

Benzer Tezler

  1. Tez No

    554272

    Üniversitelerde elektronik belge yönetim sistemlerinin birlikte çalışabilirlik açısından değerlendirilmesi

    The evaluation of electronic records management systems at universities in terms of interoperability

    MELTEM DİŞLİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Bilgi ve Belge YönetimiHacettepe Üniversitesi

    Bilgi ve Belge Yönetimi Ana Bilim Dalı

    PROF. DR. ÖZGÜR KÜLCÜ

  2. Tez No

    812994

    Well-being, burnout, and teaching anxiety among EFL teachers

    İngilizce öğretmenlerinin iyilik hali, tükenmişlik duygusu ve öğretme kaygısının incelenmesi

    AYŞE MİNE ONAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Eğitim ve Öğretimİstanbul Medeniyet Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    PROF. DR. SELAMİ AYDIN

  3. Tez No

    434427

    Üniversitelerde öğrencilerin aldıkları hizmetlerle ilgili memnuniyet düzeyleri: Niğde Üniversitesi örneği

    Satisfaction levels of students related to their receiving services in universities: Nigde University application

    YAHYA İMAMOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Eğitim ve ÖğretimNiğde Üniversitesi

    İşletme Ana Bilim Dalı

    DOÇ. DR. ADNAN ÜNALAN

    PROF. DR. ESEN GÜRBÜZ

    PROF. DR. SUAT ŞAHİNLER

  4. Tez No

    953512

    Siber tehdit istihbaratı araçları ile siber güvenlik durum analizi ve iyileştirme önerileri: Özel üniversite örneği

    Cyber security situation analysis and improvement suggestions with cyber threat intelligence tools: Private university example

    UĞUR GENÇAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar Üniversitesi

    Siber Güvenlik Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AHMET ŞENOL

  5. Tez No

    927243

    Uzaktan eğitimde öğrenme yönetim sistemlerinin etkin kullanımı ve Atatürk Üniversitesinde bir araştırma

    Effective use of learning management systems in distance education and a research at Atatürk University

    MEHMET AKİF KESKİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Yönetim Bilişim SistemleriAtatürk Üniversitesi

    Yönetim Bilişim Sistemleri Ana Bilim Dalı

    PROF. DR. MUHAMMET DURSUN KAYA

Geri Dön