Dynamic heuristic approach to enhance the performance of few-shot meta-learning
Az örnekle meta-öğrenmenin performansını artırmak için dinamik heuristik bır yaklaşım
- Tez No: 855979
- Danışmanlar: PROF. DR. NUMAN ÇELEBİ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sakarya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 112
Özet
Meta-öğrenme, öğrenmeyi öğrenme olarak da bilinen, derin öğrenme altında göreceli olarak yeni bir alt alan, özellikle sınırlı eğitim verileri ile karşılaşılan denetimli öğrenme senaryolarının zorluklarına çözüm olarak araştırmacılar arasında önemli bir ilgi kazanmıştır. Meta-öğrenmenin merkezi odak noktası, bir modelin genelleme kapasitesini artırmak ve görülmemiş görevlere uyum sağlamak üzerinedir. Bu, derin öğrenme modelinin, yinelemeli optimizasyon döngüleri geçirerek ve modele ait parametreleri buna göre güncelleyerek sezgisel bir eğitim platformu aracılığıyla elde edilir. Meta-öğrenme alanında, eğitim süreci, her meta-eğitim döngüsü sırasında elde edilen hesaplanmış kayıplara dayanarak modelin parametrelerini ince ayarlamayı içerir. Klasik yaklaşım, klasik gradyan tabanlı optimize edicileri kullanırken, bu yöntemleri meta-öğrenme problemleri tarafından tanıtılan ayırt edici zorluklara uyarlamak bazı verimsizliklere neden olur. Bir anahtar zorluk, meta-eğitim sırasında, modelin sınırlı veri noktalarıyla çeşitli görevlerden öğrenme gerekliliğidir. Meta-öğrenmenin karmaşıklığı, genellikle mevcut veriden bilgi çıkarma ve görevler arasında öğrenme için yeni stratejileri keşfetme arasında doğru bir denge gerektirir. Bu denge, özellikle meta-öğrenme senaryolarının sınırlı veri karakteristiği ile karşılaşıldığında, mevcut veriden bilgi çıkarmak ve görevler arasında öğrenme için yeni stratejileri keşfetmek arasında doğru bir denge gerektirir. Özellikle kritik hale gelir. Ayrıca, görülmemiş görevlere hızlı uyum sağlama ihtiyacı, optimizasyon sürecini daha da karmaşık hale getirir. Klasik gradyan tabanlı optimize ediciler, özellikle sınırlı görev özgü veri ile karşılaşıldığında, model parametrelerini hızlı bir şekilde yeni bir görevin benzersiz özelliklerine uyum sağlamakta zorlanabilir. Bu, modelin hızlı bir şekilde adapte olması ve orijinal eğitim setinin bir parçası olmayan görevlerde iyi performans göstermesi beklenen uygulamalarda kritik bir düşünce noktasıdır. Meta-öğrenme alanındaki araştırmacılar, bu zorlukları ele almak için alternatif optimizasyon stratejilerini aktif bir şekilde keşfetmektedirler. Model güncellemeleri, düzenleme ve optimizasyon fonksiyonlarına yenilikçi yaklaşımlar önererek, meta-öğrenme modellerinin verimliliğini ve etkinliğini artırmayı hedeflemektedirler. Bu ilerlemeler, sınırlı etiketli veri örnekleri ile elde edilebileceklerin sınırlarını zorlamak için kritiktir, bu da meta-öğrenmeyi klasik denetimli öğrenmenin gerçek dünya uygulamalarındaki kısıtlamaları aşma konusunda umut vadeden bir yol haline getirebilir. Sezgisel algoritmalar, kesin bir çözüm elde etmek zor veya hesaplama maliyeti yüksek olduğunda karmaşık problemler için yaklaşık çözümler bulmak için kullanılan problem çözme yaklaşımlarıdır. Sezgisel algoritmalar, büyük çözüm alanlarında çözümleri bulmak için kuralcıklar, deneyim veya sezgiyi kullanır. Yapay Sinir Ağları'nı (YSA) eğitirken, sezgisel algoritmalar, gradyan tabanlı tekniklere alternatif olarak değerli birer seçenek olarak hizmet eder. Her parametre ayarlaması için gradyanları hesaplamaya dayanan klasik yöntemlerin aksine, genetik algoritmalar, sürü zekâsı veya simüle edilmiş tavlama gibi sezgisel algoritmalar, çözüm alanlarını daha geniş bir şekilde keşfeder. Bu keşif, YSA'lerin yerel minimumlardan kaçınmasına yardımcı olur ve çeşitli ve potansiyel olarak üstün model konfigürasyonlarını keşfetme yeteneklerini artırır. Sezgisel algoritmalar, özellikle gradyan tabanlı yöntemlerin mücadele ettiği karmaşık optimizasyon alanlarında YSA'leri eğitmek için çok yönlü ve hesaplama açısından verimli bir yol sunar. Bu çalışmada, meta-öğrenme modellerinin eğitimini artırmak amacıyla tasarlanmış yeni bir özel optimize ediciyi tanıtıyoruz. Optimize edicimiz, bir dinamik popülasyon tabanlı sezgisel algoritmayı klasik gradyan tabanlı tekniklerle sorunsuz bir şekilde entegre ederek, meta-öğrenme problemlerinin ortaya çıkardığı zorluklara dinamik ve verimli bir yaklaşım sunar. Metaheuristik algoritma, optimal model parametre değerlerini aramaya başlamak için arama alanında rastgele dağıtılan başlangıç aday çözümler üreterek başlar. Ardından, dinamik bir popülasyon stratejisi uygulanır ve bu, bireysel performansa dayalı olarak popülasyon üyelerinin üretilmesini veya elenmesini içerir. Dinamik popülasyon stratejisi, her eğitim döngüsünün sonunda popülasyon üyelerinin performansını değerlendirmeyi içerir. İyi performans gösterenler çoğaltılır ve umut veren alanları keşfetmelerini simgelerken, en az performans gösteren bireyler elenir. Bu sürekli çoğaltma ve elenme süreci, umut veren bölgelerde aramayı yoğunlaştırmayı ve daha az verimli alanlarda daha fazla keşif yapmamayı amaçlar. Heuristik keşif aşamasının ardından, öğrenme süreci, metaheuristik algoritma tarafından belirlenen en iyi çözümü kullanarak klasik gradyan optimizasyonuna sorunsuz bir şekilde geçer. İki aşama arasındaki eğitim döngülerinin dağılımı, kritik bir giriş parametresi olan Heuristik Oranı tarafından kontrol edilir, bu da heuristik keşif aşamasına ayrılan döngülerin yüzdesini belirtir. Özel optimize edicimizin performansını değerlendirmek amacıyla geniş kapsamlı test ve ayarlamalar gerçekleştirdik ve çeşitli ölçüm veri setlerinde bunları gerçekleştirdik. Bu veri setleri, Iris, MNIST, CIFAR-10, CIFAR-100 ve Fashion gibi klasik sınıflandırma görevlerini içermekte olup, görüntü ve desen tanıma alanında çeşitli karmaşıklıkları temsil etmektedir. Klasik veri setlerinde elde edilen umut verici sonuçlar tarafından teşvik edilen, yaklaşımımızı meta-öğrenmenin zorluklarına çözüm üretecek şekilde genişlettik. Özel optimize ediciyi, Omniglot ve MiniImageNet gibi iki iyi kurulmuş meta-öğrenme veri setine uyguladık. Bu veri setleri, her sınıfta sınırlı örnek içermeleriyle karakterize edilir ve bu da onları bir modelin minimal veri ile yeni görevlere adapte olma yeteneğini değerlendirmek için özellikle uygun kılar. Deneylerimiz, özel optimize edicinin üç önemli meta-öğrenme çerçevesine uygulanmasını içerdi: MAML, Reptile ve Meta-SGD. Bu çerçeveler, bir modelin meta-öğrenme senaryolarındaki genelleme ve uyum yeteneklerini değerlendirmek için yaygın bir şekilde kullanılmaktadır. Hem MAML hem de Meta-SGD'nin elde edilen doğruluğu, Omniglot ve MiniImageNet veri kümelerinde %2-2,5 oranında iyileşme gördü. Ancak Reptile, hem veri kümelerinde hem de aynı sayıda dönemde %1'lik bir doğruluk artışı gösterdi. Hem MAML hem de Meta-SGD, ilgili meta eğitim aşamaları sırasında iki adımlı bir optimizasyon sürecini içerir. MAML ve Meta-SGD tarafından kullanılan iki aşamalı optimizasyon sürecinin aksine Reptile, daha hızlı yakınsamayı vurgulayan daha basit bir yaklaşımı benimser. Eğitim sırasında Reptile, bir iç döngü içindeki belirli bir görev üzerinde yalnızca birkaç kademeli adım gerçekleştirir. Genel olarak, deneylerimizden elde ettiğimiz sonuçlar, özel optimize edicimizin sadece meta-öğrenme modellerinin eğitim performansını artırmakla kalmadığını, aynı zamanda verimli parametre keşfini kolaylaştırdığını gösterdi. Önerdiğimiz stratejinin dinamik özellikleri, daha yüksek doğruluk, daha hızlı yakınsama ve görünmeyen görevlere hızlı uyum sağlama yeteneğine katkıda bulunarak, yenilikçi yaklaşımımızın meta-öğrenme optimizasyon alanındaki potansiyelini sergilemektedir.
Özet (Çeviri)
Meta-learning has recently become an interesting topic for researchers, particularly in supervised learning problems with a lack of training data. Meta-learning has shown effectiveness in generalization and adapting to solve new tasks with only a few data points. To train a deep learning model in general or meta-learning specifically, an optimization function should be used to update parameters during each training cycle according to the calculated loss. The popular meta-learning models have used one of the traditional gradient-based optimizers. However, challenges introduced by meta-learning, such as performance considerations during the meta-training and the need for faster adaptation, might not be handled efficiently by those optimizers. In this research, we propose a custom optimizer to train meta-learning models. Our proposal is a new optimizer based on combining a metaheuristic algorithm with traditional gradient-based techniques. The heuristic algorithm starts searching for the optimized values for the model's weights using some random initial candidate solutions. Then iteratively, according to the performance of each individual, dynamic population strategy will be applied to population members by either reproducing or eliminating members from the population. The learning process will then continue using classic gradient optimization starting with the optimal solution found via the heuristic algorithm. The custom optimizer we have developed was first tested and tuned on five classification benchmark datasets and showed higher accuracy and faster convergence. Then the same approach -with slight enhancements- was applied in order to solve the meta-learning problem. Our experimental analysis shows that our optimizer could enhance the performance of training meta-learning models and enable the efficient finding of optimal parameters due to the dynamic characteristics of our proposed strategy.
Benzer Tezler
- Çok makineli güç sisteminde açısal kararlılık analizi ve kontrolör parametre optimizasyonu
Angular stability analysis and controller parameter optimization in multi-machine power system
SERDAR EKİNCİ
Doktora
Türkçe
2015
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞEN DEMİRÖREN
- Traffic and mobility aware delay modeling for software-defined networks (SDN)
Yazılım tanımlı ağlar için trafik ve hareket duyarlı gecikme modeli
MÜGE ÖZÇEVİK
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BERK CANBERK
- Sezgisel optimizasyon algoritmaları kullanılarak güç sistemi dengeleyicisinin optimal tasarımı
Optimal design of power system stabilizer using heuristic optimization algorithms
BURAK KAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiKırıkkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM EKE
- Hybridization of probabilistic graphical models and metaheuristics for handling dynamism and uncertainty
Değişimin ve belirsizliğin ele alınması için olasılıksal çizgesel biçelerin ve sezgi-üstlerinin melezleştirilmesi
GÖNÜL ULUDAĞ
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞE ŞİMA UYAR
- Bütünleşik ürün karması planlaması için yeni bir optimizasyon yaklaşımı ve perakende sektöründe uygulaması
A novel optimization approach for integrated product assortment and its application in the retail sector
MUHAMMED CAN KONUR
Doktora
Türkçe
2024
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET BÜLENT DURMUŞOĞLU