Geri Dön

Incremental heuristic meta-learning using reinforcement learning

Pekiştirmeli öğrenme kullanarak artımsal sezgisel üst-öğrenme

PDF İndir

  1. Tez No: 991675
  2. Yazar: ONUR KARADELİ
  3. Danışmanlar: PROF. DR. ŞULE ÖĞÜDÜCÜ
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Derin öğrenme, Makine öğrenmesi, Yapay zeka ve makine öğrenmesi dersi, Deep learning, Machine learning, Artificial intelligence and machine learning course
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Makine öğrenmesi (ML) alanındaki gelişmeler, algoritma performansını çok boyutlu bir problem hâline getirmiştir. Bu performans; veri kümesinin büyüklüğü, boyutsallığı, sınıf etiket dağılımı ve veri seyrekliği gibi çeşitli faktörlerden etkilenmektedir. Geleneksel ML yaklaşımları genellikle bu zorluklara tek bir algoritma ile çözüm üretmeye çalışır, ancak bu yöntem her zaman en uygun sonuçları sağlamaz. Bu sınırlılık, yeni görevlere daha etkin uyum sağlayabilen algoritmaların tasarımını amaçlayan bir alt alan olan meta-öğrenme (meta-learning) kavramının doğmasına neden olmuştur. Meta-öğrenme, doğası gereği ML problemlerine özgü karmaşıklıkları ve değişkenlikleri ele almada güçlü bir yaklaşımdır. Meta-öğrenme, yani 'öğrenmeyi öğrenme', sağlamlığı ve uyarlanabilirliği sayesinde ML topluluğunda geniş kabul görmüştür. Bu yaklaşım, karmaşık bir öğrenme görevini daha küçük ve yönetilebilir alt görevlere ayırır; her bir alt görev farklı ML algoritmalarıyla, yani temel öğreniciler (base-learners) ile çözülür. Meta-öğrenici (meta-learner) adı verilen üst düzey algoritma, bu temel öğrenicilerin çıktılarından bütüncül ve daha etkili bir tahmin modeli oluşturur. Bu yöntem, özellikle Kaggle gibi rekabetçi ortamlarda üstün başarılar elde etmiş ve çoğu kazanan algoritmanın temelini oluşturmuştur. Bu tezin ilk bölümünde, sınıflandırma problemleri için yığılmış genelleme (stacked generalization) yaklaşımını genişleten yeni bir meta-öğrenme algoritması olan Artımsal Sezgisel Meta-Öğrenici (Incremental Heuristic Meta-Learner - IHML) önerilmektedir. Bu çalışmanın temel amacı, farklı algoritmaları birleştirmenin yanı sıra öznitelik seçimini de optimize ederek meta-öğrenicinin genel tahmin performansını artırmaktır. IHML algoritması; harmanlanmış temel öğreniciler, açıklanabilir yapay zekâ (XAI) yöntemi ve temel öğrenici ile öznitelik kümesi seçiminde kullanılan sezgisel dirsek yöntemi üzerine inşa edilmiştir. Algoritma, sınıflandırma amacıyla veri toplama ve ön işleme adımlarıyla başlar. Veriler temizlendikten ve işlendiikten sonra, eğitim, doğrulama ve test alt kümelerine ayrılarak tahmin modellerinin performansı değerlendirilir. Seviye-0 Temel Öğreniciler Aşamasında, ağaç tabanlı, Gauss tabanlı, örnek tabanlı ve benzeri farklı yapılara sahip temel öğreniciler eğitilir. Daha sonra, bu temel öğreniciler doğrulama kümesindeki performanslarına göre en yüksekten en düşüğe doğru sıralanır. Ek olarak, her bir temel öğrenici için öznitelik önemini belirlemek amacıyla XAI yöntemi kullanılarak öznitelikler, modele etkileri en yüksekten en düşüğe doğru sıralanır. IHML'nin Seviye-1 Meta-Öğrenici Eğitim Aşamasında, dirsek yöntemi kullanılarak öznitelik kümesinin en bilgilendirici öznitelikleri belirlenir ve her temel öğrenici için öznitelik kümesi azaltılır. Bu sayede, yığılmış genelleme yaklaşımına kıyasla XAI ve dirsek yönteminin birlikte kullanımıyla en ilgili öznitelikler daha verimli şekilde seçilir. Artımsal öğrenme süreci sıfırdan başlatılır; her yinelemede IHML, tahmin performansını artırma potansiyeli taşıyan yeni temel öğrenicileri ve öznitelikleri ekleyerek meta-öğrenicinin başarımını kademeli olarak yükseltir ve aşırı öğrenmeyi (overfitting) önler. Tüm temel öğreniciler değerlendirildiğinde, algoritma sonlanır ve nihai meta-öğrenici ile ilişkili öznitelik kümesi çıktı olarak elde edilir. Tezin ikinci bölümünde, en iyi temel öğrenici kombinasyonunun keşfi için kullanılan sezgisel yöntemin yerine pekiştirmeli öğrenme (Reinforcement Learning - RL) temelli bir algoritma önerilmektedir. Bu algoritma, Reinforcement Learning based Meta-Learner (RLML) olarak adlandırılmaktadır. Meta-öğrenme bağlamında RL, temel öğrenici kombinasyonları ve öznitelik altkümeleri gibi geniş arama uzaylarını etkili şekilde keşfetmek için kullanılabilir. Bu kapsamda, temel öğrenici ve öznitelik altkümesi kombinasyonlarını aramak üzere RL tabanlı özgün bir yaklaşım sunulmaktadır. Pekiştirmeli öğrenme kullanmanın temel avantajı, geniş arama alanını verimli biçimde keşfederek en iyi meta-öğreniciyi mümkün olan en kısa sürede bulabilmesidir. Genetik algoritmalar ve diğer sezgisel yöntemlere dayanan alternatif yaklaşımlar bulunsa da, RL'in daha hızlı ve daha etkili çözümler sunma potansiyeline sahip olduğu düşünülmektedir. En iyi meta-öğreniciyi arama sürecinde tüm temel öğrenicilerin yeniden eğitilmesi gerekebilir. Bu durum, veri üzerinde çok sayıda yeniden eğitim işlemi gerektirdiğinden zaman maliyetini artırmaktadır. Bu sorunu hafifletmek amacıyla RL tabanlı yaklaşımımıza ek olarak dinamik örneklem alma (DS) stratejisi entegre edilmiştir. DS, öğrenme sürecinin daha küçük veri alt kümeleriyle başlayıp giderek daha büyük alt kümelerle devam etmesini sağlayarak modelin daha hızlı yakınsamasına katkı sunar. RL bağlamında DS, erken yinelemelerde daha küçük veri kümeleriyle çalışılmasına olanak tanırken, yakınsama ilerledikçe veri kümesi boyutunun kademeli olarak artırılmasını mümkün kılar. Önerilen IHML ve RLML algoritmaları için kapsamlı bir deneysel çalışma yürütülmüştür. Deneyler; astrofizik, fizik, biyoloji, e-ticaret ve ekonomi gibi farklı alanlardan seçilen veri kümeleri üzerinde gerçekleştirilmiştir. Bu veri kümeleri hem dengeli hem de dengesiz sınıf dağılımlarını içermektedir. Değerlendirme sürecinde Doğruluk (Accuracy), F1-skoru ve ROC-AUC gibi çeşitli sınıflandırma performans ölçütleri kullanılmıştır. Önerilen algoritmaların performansı; ağaç tabanlı yöntemler, güçlendirme (boosting) algoritmaları, uzaklık tabanlı algoritmalar ve yapay sinir ağı tabanlı modelleri kapsayan farklı algoritma ailelerinden oluşan geniş bir temel sınıflandırıcı kümesine karşılaştırılmıştır. Buna ek olarak, yaklaşımlarımız çeşitli popüler meta-öğrenme algoritmaları ile de karşılaştırılmıştır. Deneysel sonuçlar, önerilen algoritmaların özellikle dengeli veri kümelerinde ve ROC-AUC ile Doğruluk ölçütleri açısından üstün performans sergilediğini ve karşılaştırılan tüm temel ve meta-öğrenme algoritmalarını geride bıraktığını göstermektedir. Öte yandan, dengesiz veri kümelerinde diğer meta-öğrenme algoritmaları ile karşılaştırılabilir performans elde edilmiştir. Elde edilen performans iyileştirmelerinin tesadüfi olmadığını doğrulamak amacıyla istatistiksel anlamlılık testleri de uygulanmıştır. Önerilen algoritmaların zaman karmaşıklığı hâlen ele alınması gereken bir zorluk olmakla birlikte, eğitim süresini azaltmaya yönelik çeşitli mekanizmalar sunulmuştur. Ayrıca, veri kümesi büyüklüğü, özellik sayısı ve temel öğrenici sayısı arttıkça eğitim süresinin nasıl ölçeklendiği deneysel olarak analiz edilmiştir. Son olarak, önerilen algoritmaların geliştirilmesinde kullanılan mimari ve uygulama ayrıntıları sunulmaktadır. IHML için bu kapsamda, meta-öğrenme çerçevesinin temel bileşenleri, özellik seçimi mekanizması ve ayarlanabilir hiperparametreler ile birlikte bu bileşenlerin etkin kullanımına yönelik pratik yönergeler ele alınmaktadır. RLML için ise, ağ katmanları ve parametreleri dâhil olmak üzere yapay sinir ağı mimarisi, kullanılan optimizasyon algoritması ve eğitime ilişkin tüm hiperparametreler ayrıntılı olarak açıklanmaktadır. Önerilen algoritmalar sınıflandırma problemleri için tasarlanmış olmakla birlikte, regresyon problemlerine de kolaylıkla uyarlanabilmektedir. Bu çalışmanın başlıca katkıları aşağıda özetlenmiştir: * IHML algoritması, sınıflandırma problemleri için genel bir çözüm sunar ve tahmin doğruluğunu artırır. IHML'de kullanılan temel öğreniciler; Gauss tabanlı, örnek tabanlı, ağaç tabanlı ve topluluk modelleri gibi farklı öğrenme ve tahmin dinamiklerine sahiptir. * IHML, XAI ve sezgisel dirsek yöntemini entegre ederek önemli öznitelikleri daha bilinçli şekilde seçer; böylece yığılmış genelleme temelli algoritmalara kıyasla daha yüksek tahmin başarımı elde eder. * RLML, birçok veri kümesinde IHML'e kıyasla daha yüksek tahmin performansı gösterir ve aynı zamanda daha düşük zaman maliyetine sahiptir. * RLML, sınıflandırma problemlerinde meta-öğrenme bağlamında pekiştirmeli öğrenmenin özgün bir kullanımını sunar. Bu temel üzerine, daha yüksek performans ve daha düşük hesaplama maliyeti gereksinimlerine yönelik genişletilebilir bir yapı oluşturulmuştur. * Hem IHML hem de RLML, öznitelik seçimini otomatikleştiren bir mekanizma sunar. Gereksiz öznitelikler ek adımlara gerek kalmaksızın elenerek modelin karmaşıklığı azaltılır ve böylece modelin sağlamlığı artırılır.

Özet (Çeviri)

In the evolving landscape of machine learning (ML), algorithmic performance is influenced by multiple factors, including dataset size, dimensionality, class-label distribution, and data sparsity. Traditional ML approaches often rely on a single algorithm, which may not consistently yield optimal results under such conditions. This limitation has led to the emergence of meta-learning, a subfield that focuses on understanding and designing algorithms that adapt to new tasks more efficiently. Meta-Learning, by its nature, is well-suited to tackle the complexities and variabilities inherent in machine learning tasks. Meta-learning, or 'learning-to-learn', has gained widespread attention in the ML community for its robustness and adaptability. It involves decomposing a complex learning task into smaller, more manageable subtasks, each handled by different ML algorithms, called base-learners. The meta-learner, a higher-level algorithm, then synthesizes the outputs of these base learners to form a cohesive and more effective solution. This approach has demonstrated strong success, particularly in competitive environments such as Kaggle competitions, where many top-performing solutions rely on meta-learning techniques. In the first part of the thesis, we propose a novel meta-learning algorithm called Incremental Heuristic Meta-Learner (IHML) for classification problems, extending the stacked generalization framework. The primary objective of this work is to develop a method that not only combines various algorithms, but also optimizes the feature selection process, thereby enhancing the overall predictive performance of the meta-learner. IHML uses a mix of base learners and a heuristic elbow method to choose the best learners and features. After cleaning and processing the data, the data are divided into training, validation, and test sets to evaluate the performance of the models. In Level-0 training, diverse base learners—including tree-based, Gaussian-based, and instance-based models—are trained. Then, the base-learners are sorted from best to worst based on how well they perform on the validation set. An Explainable Artificial Intelligence (XAI) based method is also applied to generate feature-importance rankings for each base learner, ordering features from most to least impactful. During Level-1 meta-learner training, the elbow method is used to determine the optimal number of informative features, and each base learner's feature set is reduced accordingly. Compared to standard stacked generalization, IHML selects the most relevant features more efficiently by incorporating XAI and the elbow method into the training process. IHML begins with an empty ensemble and incrementally adds high-performing base learners and informative features, helping to reduce overfitting. Once all base learners are evaluated, the algorithm terminates and outputs the final meta-learner along with its selected feature set. In the second part of the thesis, we extend the search for optimal base-learner combinations by replacing the heuristic strategy with a Reinforcement Learning (RL)–based algorithm. This algorithm is referred to as the Reinforcement Learning–based Meta-Learner (RLML). RL can be used to explore the large combinatorial space of meta-learners and feature subsets within the meta-learning context. We propose an RL-based approach that searches for the optimal combination of base learners and feature subsets. The primary advantage of using RL is its ability to identify high-performing meta-learner configurations quickly while thoroughly exploring the space of base-learner and feature-subset combinations. RL offers an efficient mechanism for exploring and discovering better meta-learner configurations. During the search for an optimal meta-learner, all base learners must be retrained repeatedly. This results in extensive computational overhead as the repeated retraining process is time-consuming. To address this issue, we employ Dynamic Sampling(DS) in conjunction with our RL approach. DS accelerates training by adaptively varying the sample size between iterations. Within the RL setting, DS generates smaller datasets during early iterations and gradually increases the dataset size as the search converges toward an optimal meta-learner. We conducted an extensive set of experiments for the proposed IHML and RLML algorithms. The experiments were performed on datasets from diverse domains, including astrophysics, physics, biology, e-commerce, and economics. These datasets include balanced and imbalanced class distributions. We evaluated multiple classification performance metrics, including Accuracy, F1-score, and ROC-AUC. We compared the performance of our algorithms against a wide range of base classifiers representing different algorithm families, including tree-based methods, boosting algorithms, distance-based algorithms, and neural network–based models. In addition, we compared our approaches with several popular meta-learning algorithms. Our experimental results show that the proposed algorithms achieve superior performance, particularly on balanced datasets and with respect to ROC-AUC and Accuracy, outperforming all base and meta-learning algorithms considered. On the other hand, they achieve performance comparable to that of other meta-learning algorithms on imbalanced datasets. We also conducted statistical significance tests to verify that the observed performance improvements are not due to chance. Although the time complexity of the proposed algorithms remains a challenge, we introduce several mechanisms to reduce training time. We also experimentally analyze how the training time scales with increasing dataset size, feature dimensionality, and the number of base learners. Finally, we present the architectural and implementation details used in the development of the proposed algorithms. For IHML, this includes the main components of the meta-learning framework, the feature selection mechanism, and the tunable hyperparameters, along with practical guidelines on how to use them effectively. For RLML, we detail the neural network architecture, including its layers and parameters, the optimization algorithm, and all training-related hyperparameters. Although the proposed algorithms are designed for classification tasks, they can also be easily extended to regression problems. The main contributions of this study, which incorporate the IHML and RLML algorithms, are summarized below. * The IHML algorithm provides a comprehensive solution to classification tasks and improves predictive accuracy. The base learners used within IHML exhibit diverse learning and inference characteristics, including Gaussian-based, instance-based, tree-based, and ensemble-based models. * IHML identifies informative features by integrating XAI with a heuristic elbow method, enabling more principled feature selection than conventional stacked generalization approaches and leading to improved predictive performance. * RLML introduces a novel RL-driven approach to meta-learning for classification tasks. By establishing a foundational RL framework, the method can be further extended to achieve improved predictive performance and reduced computational cost. * RLML outperforms IHML on most datasets in terms of predictive performance and demonstrates lower computational time requirements. * RLML outperforms IHML on most datasets in terms of predictive performance and demonstrates lower computational time requirements.

Benzer Tezler

  1. Tez No

    509896

    Rüzgar parametrelerinin değişiminin izlenmesi ve yapay zeka algoritmaları kullanılarak tahmini

    Monitoring of the change of wind parameters and estimation using artificial intelligence algorithms

    ALPER KEREM

    Doktora

    Türkçe

    Türkçe

    2018

    Elektrik ve Elektronik MühendisliğiGazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ALİ SAYGIN

  2. Tez No

    789727

    Sezgisel yaklaşımlara dayalı çoklu dizi hizalaması üzerine bir çalışma

    A study on multiple sequence alignment based on heuristic approaches

    HATİCE ERDİRİK

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HASAN BULUT

  3. Tez No

    740799

    Robotik süreç otomasyonu için iş çizelgeleme algoritması

    Job scheduling algorithm for robotic process automation

    GÜLŞAH DORUK

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. OSMAN KAAN EROL

  4. Tez No

    374524

    Ofis mobilyaları üreten bir firmada hücre tasarımı ve hücre etkinliğinin belirlenmesi

    The cell formation and design for an office furniture manufacturing company

    SEVDE DİLRUBA KARAYEL

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Mühendislik BilimleriGazi Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. HATİCE EDİZ ATMACA

  5. Tez No

    965313

    Optıcut: Desen minimizasyonlu tek boyutlu stok kesme problemi için yeni bir sezgisel yaklaşım

    Opticut: A new heuristic algorithm for the one-dimensional cutting stock problem with pattern minimisation

    NAHSEN KAYHAN

    Doktora

    Türkçe

    Türkçe

    2025

    Endüstri ve Endüstri MühendisliğiSakarya Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ESRA TEKEZ

Geri Dön