Makine öğrenme problemlerinde konveks olmayan optimizasyon modellerinin iki konveks fonksiyonunun farkı ve ikinci derece konik progromlama ile modellenmesi
Difference of convex functions programming and second-order conic programming modelling of non-convex optimization problems in machine learning
- Tez No: 858033
- Danışmanlar: PROF. DR. ERDAL GÜL, PROF. DR. SÜREYYA AKYÜZ
- Tez Türü: Doktora
- Konular: Matematik, Mathematics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik Ana Bilim Dalı
- Bilim Dalı: Matematik Bilim Dalı
- Sayfa Sayısı: 91
Özet
Makine öğrenmesi algoritmalarının tüm disiplinlerde kullanılmaya başlanması ve yapay zekanın yaygınlaşması ile birlikte literatürde bu yöntemlerin performanslarını arttırıcı yeni matematiksel modellemelere ihtiyaç duyulmuş ve optimizasyon teorisinin kullanıldığı modellemeler popülerliğini gittikçe arttırmıştır. Optimizasyon teorisinde de bilindiği gibi eğer problem konveks değil ise global çözüme ulaşmak her zaman mümkün olmamaktadır. Makine öğrenimi algoritmalarından sınıflandırma ya da kümeleme yapacak optimizasyon modeline ait amaç fonksiyonunun konveks olmadığı durumlarda modellenerek iki konveks fonksiyonun farkı ya da ikinci dereceden konik programlama algoritmaları ile global çözüme yakınsamalar yapılmaktadır. Topluluk öğrenmesi, birden fazla öğrenme modelini bir araya getirerek bireysel modellerin performansını artırma amacına dayanmaktadır. Bu yaklaşım, farklı modellerin öğrenme ve tahmin güçlerini birleştirerek, bireysel modellerin karşılaşabileceği zayıflıkları ve sınırlamaları aşmayı amaçlamaktadır. Özellikle karmaşık veri yapıları ve zorlu tahmin problemleri söz konusu olduğunda, topluluk öğrenmesi tek bir modelin performansını aşan sonuçlar üretebilmektedir. Bu nedenle, topluluk öğrenmesi, yapay zeka ve makine öğrenimi alanlarında giderek artan bir ilgiyle karşılanmakta ve pek çok disiplinde başarıyla uygulanmaktadır. Topluluk öğrenmesinin bu önemi, bu tezde ele alınan ve optimizasyon teorisine dayanan kümeleme problemlerinde de kendini göstermektedir. Kümeleme algoritmalarının performansını ve doğruluğunu artırmada topluluk öğrenmesi yöntemlerinin etkinliği, bu çalışmanın merkezinde yer almaktadır. Denetimsiz öğrenme algoritmalarından biri olan kümeleme, etiketlenmemiş benzer nesneleri aynı gruba yerleştirmek için kullanılır. Gruptaki en iyi modellerin seçimi, topluluk kitaplığındaki gereksiz çözümlerin genel tahmin doğruluğunu azaltacağı gerçeğinden dolayı topluluk öğrenme algoritmalarının genel performansında çok önemli bir role sahiptir. Bu nedenle, bu tür adayların elenmesi hesabına, topluluğun en iyi alt kümesini seçerken doğruluk ve çeşitlilik dikkate alınmalıdır. Bu tezde topluluk öğrenimi ile denetimsiz öğrenme problemlerinden kümeleme problemi optimizasyon teorisi kullanılarak modellenmiştir. Başka bir deyişle, topluluk içinde optimum doğruluk ve çeşitlilik sağlayan en iyi modellerin seçildiği bir alt kümenin bulunması problemi bir optimizasyon modeli tarafından tanımlanmıştır. Topluluğu oluşturacak kümeleme modelleri literatürde de sıkça tercih edilen k-ortalama algoritması ile kurulmuştur. Bu tezde geliştirilen yeni topluluk küme seçimi modelleri ve önerilen algoritmaların performansları, farklı alanlardan gerçek veri kümeleri üzerinde literatürdeki ilgili kümeleme algoritmaları ile karşılaştırılmıştır. Önerilen tezde kullanılacak olan yöntemler konveks fark programlama ve ikinci dereceden konik programlama algoritmalarıdır. Geliştirilmiş topluluk seçiminin, literatürdeki mevcut topluluk seçim algoritmalarından çoğunlukla daha iyi performans gösterdiği elde edilmiştir.
Özet (Çeviri)
With the increasing use of machine learning algorithms in all disciplines and the widespread adoption of artificial intelligence, new mathematical modeling techniques have been needed to enhance the performance of these methods. As a result, modeling techniques that utilize optimization theory have become increasingly popular. As is known in optimization theory, if a problem is not convex, reaching a global solution may not always be possible. In cases where the objective function of an optimization model that performs classification or clustering through machine learning algorithms is not convex, global convergence can be achieved through algorithms by modeling the objective function as the difference of two convex functions or as the second-order cone programming. Ensemble learning, which combines multiple learning models, aims to enhance the performance of individual models. This approach merges the learning and predictive strengths of different models, aiming to overcome weaknesses and limitations that individual models may encounter. Especially in complex data structures and challenging prediction problems, ensemble learning can produce results surpassing the performance of a single model. This growing interest in ensemble learning in the fields of artificial intelligence and machine learning is also evident in clustering problems based on optimization theory, which is the focus of this thesis. The effectiveness of ensemble learning methods in improving the performance and accuracy of clustering algorithms is central to this work. Clustering, one of the unsupervised learning algorithms, is used to group similar unlabeled objects into the same group. The selection of the best models in the ensemble has a crucial role in the overall performance of ensemble learning algorithms due to the fact that redundant solutions in the ensemble library will reduce the overall prediction accuracy. Therefore, accuracy and diversity must be considered when selecting the best subset of the ensemble to account for the elimination of such candidates. In this thesis, the clustering problem, one of the ensemble learning and unsupervised learning problems, is modeled using optimization theory. In other words, a collective decision was determined by an optimization model, by an aggregated clustering solution that provides optimum accuracy and diversity in the ensemble. The k-means algorithm is used as the base learner due to its popularity in the clustering literature. The new ensemble cluster selection models developed in this thesis and the performance of the proposed algorithm are compared with different clustering algorithms on real datasets from different fields. The proposed methods used in the thesis are difference of convex programming and second-order conic programming algorithms. Improved ensemble selection has often been shown to outperform existing ensemble selection algorithms in the literature.
Benzer Tezler
- NARMA-L2 controller design for nonlinear systems using online lssvr
Doğrusal olmayan sistemler için çevrimiçi en küçük kareler destek vektör regresyonu ile NARMA-L2 kontrolör tasarımı
GÖKÇEN DEVLET ŞEN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜLAY ÖKE GÜNEL
- Dictionary ensemble based active learning for multiple instance image classification
Çoklu örnekli görüntü sınıflandırması için sözlük topluluğu tabanlı aktif öğrenme
GÖKHAN KOÇYİĞİT
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. YUSUF YASLAN
- Açıklanabilir yapay zeka yöntemleri ile toprak tuzluluğu haritalarının üretilmesi
Soil salinity mapping using explainable artificial intelligence methods
SAMET AKSOY
Yüksek Lisans
Türkçe
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Sınıflandırma problemlerinde topluluk öğrenme yöntemlerinin incelenmesi ve küçük hücreli dışı akciğer kanseri verileri üzerine bir uygulaması
Examination of ensemble learning methods in classification problems and an application on non-small cell lung cancer data
MEHMET KIVRAK
Doktora
Türkçe
2020
Biyoistatistikİnönü ÜniversitesiBiyoistatistik ve Tıp Bilişimi Ana Bilim Dalı
PROF. DR. CEMİL ÇOLAK
- Pekiştirmeli öğrenme problemlerinde keşif ve genelleştirme yöntemleri
Exploration and generalization methods in reinforcement learning problems
KIVANÇ GÜÇKIRAN
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BÜLENT BOLAT