Özellik mühendisliğinde transfer öğrenme yaklaşımı ve büyük dil modeli entegrasyonuyla açıklanabilir otomatik makine öğrenimi çerçevesi
Explainable automated machine learning framework with transfer learning approach and large language model integration in feature engineering
- Tez No: 960524
- Danışmanlar: DOÇ. DR. CAN EYÜPOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Milli Savunma Üniversitesi
- Enstitü: Atatürk Stratejik Araştırmalar ve Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 100
Özet
Makine öğrenmesi sistemlerinin geliştirilmesi ve optimizasyonu, özellikle özellik mühendisliği gibi alanlarda uzmanlık gerektiren karmaşık süreçlerdir. Otomatik Makine Öğrenimi (Automated Machine Learning-AutoML), bu zorlukları azaltarak veri ön işleme, model seçimi, hiperparametre optimizasyonu gibi makine öğrenmesi süreçlerini otomatikleştirmektedir. Ancak özellik mühendisliği, mevcut AutoML sistemlerinde genellikle manuel olarak yapılmaktadır. Bu çalışma, AutoML'in etkinliğini ve erişilebilirliğini artırmaya yönelik iki yenilikçi yaklaşım sunmaktadır. Birinci yöntem, AutoML sistemlerinde transfer öğrenme tabanlı özellik mühendisliğinin rolünü ve etkinliğini araştırmaktadır. Bu yaklaşım, özellik mühendisliği süreçlerini otomatikleştirmek için transfer öğrenmeden yararlanmayı inceler. Görüntü (CIFAR-10), metin (IMDB Reviews) ve tablo (Adult Census Income) türü veri kümeleri üzerinde yapılan kıyaslama analizleri, transfer öğrenme ile geliştirilmiş AutoML'nin dikkate değer avantajlar sağladığını göstermiştir. Bulgular, eğitim süresinde önemli azalmalar, model doğruluğunda artışlar ve bellek kullanımında iyileşmeler ortaya koymuştur. Özellikle metin ve görüntü verilerinde iyileşme daha belirgin olmuştur. Bu sonuçlar, transfer öğrenimini AutoML'ye entegre etmenin dönüştürücü potansiyelini vurgulamaktadır. Bu çalışmadaki ikinci yöntem ise, Büyük Dil Modellerini (Large Language Models-LLMs) entegre ederek AutoML süreçlerini yeniden tasarlayan kullanıcı dostu ve açıklanabilir bir çerçeve sunmaktadır. Bu çerçeve, doğal dil etkileşimleri aracılığıyla teknik bilgisi sınırlı kullanıcıların dahi makine öğrenmesi süreçlerini yönetmesini hedefler. Tam otomasyon, model kararları için semantik açıklamalar ve kullanıcı geri bildirimlerine dayalı adaptif optimizasyon bu çerçevenin yenilikleri arasındadır. Amazon Reviews ve NIH Chest X-ray veri kümeleri üzerinde geleneksel AutoML araçlarıyla yapılan deneyler, önerilen LLM destekli çerçevenin üstün performans sergilediğini kanıtlamıştır. Deneysel bulgular, geleneksel araçlara kıyasla daha yüksek doğruluk, daha düşük hesaplama maliyeti ve daha hızlı yakınsama süresi elde edildiğini göstermiştir. Bu yaklaşım, model geliştirme sürecini daha verimli ve erişilebilir kılmaktadır. Sonuç olarak, bu çalışma, transfer öğrenme tabanlı özellik mühendisliğinin AutoML performansını ve verimliliğini artırma potansiyelini göstermiş, aynı zamanda LLM entegrasyonu ile AutoML'yi daha erişilebilir, otomatik ve açıklanabilir hale getirmenin dönüştürücü etkisini ortaya koymuştur. Her iki yöntem de AutoML alanındaki önemli boşlukları ele almaktadır.
Özet (Çeviri)
The development and optimization of machine learning systems are complex processes that require expertise, especially in areas such as feature engineering. Automated Machine Learning (AutoML) reduces these challenges and automates machine learning processes such as data preprocessing, model selection, hyperparameter optimization. However, feature engineering is often done manually in existing AutoML systems. This thesis presents two innovative approaches to improve the efficiency and accessibility of AutoML. The first method investigates the role and effectiveness of transfer learning-based feature engineering in AutoML systems. This approach examines leveraging transfer learning to automate feature engineering processes. The benchmark analyses on image (CIFAR-10), text (IMDB Reviews) and tabular (Adult Census Income) datasets show that AutoML enhanced with transfer learning provides remarkable advantages. The results show significant reductions in training time, increases in model accuracy and improvements in memory utilization. The improvement was particularly pronounced for text and image data. These results highlight the transformative potential of integrating transfer learning into AutoML. The second method in this thesis presents a user-friendly and explainable framework that redesigns AutoML processes by integrating Large Language Models (LLM). This framework aims to enable even users with limited technical knowledge to manage machine learning processes through natural language interactions. Full automation, semantic explanations for model decisions, and adaptive optimization based on user feedback are among the innovations of this framework. The experiments with traditional AutoML tools on Amazon Reviews and NIH Chest X-ray datasets have proven the superior performance of the proposed LLM-supported framework. The experimental findings showed that higher accuracy, lower computational cost and faster convergence time are achieved compared to traditional tools. This approach makes the model development process more efficient and accessible. In conclusion, this thesis has demonstrated the potential of transfer learning-based feature engineering to improve AutoML performance and efficiency, as well as the transformative effect of making AutoML more accessible, automated and explainable through LLM integration. Both methods address important gaps in the field of AutoML.
Benzer Tezler
- Zeminlerin rijitlik ve sönümleme davranışının tanımlanması ve nümerik modellemede kullanılması
Determination of stiffness and damping behaviour of soils and their implementation in numerical modeling
SİNAN SARĞIN
Doktora
Türkçe
2019
İnşaat Mühendisliğiİstanbul Üniversitesi-Cerrahpaşaİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. SADIK ÖZTOPRAK
DOÇ. DR. DERVİŞ VOLKAN OKUR
- Geoteknik özelliklerin belirlenmesinde sismik ve penetrasyon deneylerinin karşılaştırılması
The Comparison of in-situ seismic and penetration test for the determination of geotechnical properties
RECEP İYİSAN
- Thiol reactive hydrogels from single precursor
Tek prekürsordan tiol reaktif hidrojellerin sentezi
SALTUK BUĞRA HANAY
- Kazık taşıma gücünün sonlu elemanlar yöntemi kullanarak kohezyonlu lineer olmayan zemin davranışında incelenmesi
A study on the single pile bearing capacity computed with finite element method
CUMHUR TOKGÖZ
Yüksek Lisans
Türkçe
1997
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. M. TUĞRUL ÖZKAN
- Sitrik asit esaslı biyobozunur polimerlerin sentezi ve karakterizasyonu
Synthesis and characterization of citric acid based biodegradable polymers
KEVSER ÖZDEMİR
Yüksek Lisans
Türkçe
2013
Polimer Bilim ve TeknolojisiYalova ÜniversitesiPolimer Bilim ve Teknolojisi Ana Bilim Dalı
YRD. DOÇ. DR. GÜLAY BAYRAMOĞLU
