Reservoir computing for efficient and effective learning
Verimli ve etkili öğrenme için rezervuar hesaplama
- Tez No: 982215
- Danışmanlar: PROF. DR. ERHAN ÖZTOP
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Doğrusal olmayan dinamik sistemlerin verimli modellenmesi, gömülü sistemler, uç sistemler ve nöromorfik donanımlar için büyük önem taşımaktadır. Rezervuar Hesaplama (RC), yinelemeli sinir ağları ve dönüştürücü tabanlı modellerdeki eğitim yükünü, iç bağlantıları sabit tutarak ve yalnızca doğrusal bir çıktı katmanı eğiterek azaltır. Ancak klasik Echo State Ağları (sRC), kapasiteyi rezervuar boyutunu artırarak ölçeklendirdiğinden bellek ve enerji maliyetlerini önemli ölçüde artırır. Bu tez, bu darboğazı, rezervuar birimlerinin sayısını artırmak yerine niteliğini geliştirerek aşmayı amaçlamaktadır. Bu doğrultuda, eşzamanlı aktivasyonların çarpımsal monomilerinden seçili bir altküme ile rezervuarı zenginleştiren Yüksek-Dereceli Artırılmış Rezervuar Bilgisayarı (haRC) önerilmektedir. Lorenz ve Mackey–Glass gibi kaotik kıyaslama sistemleri üzerinde haRC, temel sRC modellerine göre daha verimlidir. İki yeni model daha önerilmektedir: Seçmeli haRC, gereksiz etkileşimleri elemek için rezervuar birimlerini varyans ve kovaryansa göre değerlendirir; Seyrek haRC ise kontrollü seyreklik maskeleri uygular. Kapsamlı deneylerde, farklı seyreklik seviyelerinde eşit toplam ve öğrenilebilir parametre koşulları altında ezberleme ve kestirim görevleri değerlendirilmiştir. haRC modelleri, tüm seyreklik düzeylerinde tutarlı şekilde sRC modellerinden daha iyi performans göstermekte; bu fark yüksek seyreklik koşullarında daha da belirginleşmektedir. Gürültü dayanıklılığı testlerinde rezervuara Gauss gürültüsü enjekte edilmiştir. Seçmeli haRC, sRC'nin yalnızca %12'si kadar birimle çalışırken bile ortalama karekök hatası açısından iyi performans sergilemektedir. 120 kata varan bellek verimliliğiyle, yüksek-dereceli artırma yaklaşımı, mikrodenetleyiciler, FPGA tabanlı sistemler ve bellek-içi hesaplama mimarileri için ultra hafif dizisel öğreniciler adına umut verici bir yöntem olarak öne çıkmaktadır.
Özet (Çeviri)
Resource-efficient modeling of nonlinear dynamical systems is vital for embedded sensing, edge analytics, and neuromorphic hardware. Reservoir Computing (RC) reduces training overhead in recurrent neural networks and transformers by fixing internal weights and training only a linear read-out. However, classical Echo State Networks (sRC) scale capacity by increasing reservoir size, which inflates memory and energy costs. This thesis addresses that bottleneck by improving the quality, rather than the quantity, of reservoir units. We propose the Higher-Order Augmented Reservoir Computer (haRC), which augments reservoir with a subset of multiplicative monomials of co-temporal activations. This polynomial feature space enhances nonlinear expressivity while keeping the reservoir compact. On chaotic benchmarks such as Lorenz and Mackey–Glass, haRC achieves the same or better accuracy with fewer parameters than baseline sRC models.We propose two improved models: Selective haRC, which ranks reservoir units by variance and covariance to discard redundant interactions, and Sparse haRC, which integrates controlled sparsity masks to reduce memory and compute load. Comprehensive experiments evaluate memorization and forecasting tasks under equal total and tunable parameter settings across different sparsity levels. haRC's consistently outperform sRC across all sparsity regimes, with the advantage growing in high sparsity. Noise robustness tests inject Gaussian noise into the reservoir. Selective haRC maintains or exceeds the performance of sRC in terms of root-mean-squared error and variance with 12% of the reservoir units sRC has. Demonstrating up to 120 times memory efficiency, higher-order augmentation emerges as a promising approach for ultra-lightweight sequence learners suited for microcontrollers, FPGA overlays, and in-memory compute systems.
Benzer Tezler
- Modulating reservoir dynamics with reinforcement learning for efficient robot skill generation
Verimli robot becerisi üretimi için pekiştirmeli öğrenme ile rezervuar dinamiklerinin modüle edilmesi
ZAHRA KOULAEİZADEH
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiYapay Zeka Ana Bilim Dalı
PROF. DR. ERHAN ÖZTOP
- Optimizasyon tabanlı bir su kaynakları sistemi modelleme aracının geliştirilmesi ve çok amaçlı sektörel tahsise uygulanması
Development of an optimization-based modeling tool for water resources systems and application to multi-objective sectoral allocation
SALİM YAYKIRAN
Doktora
Türkçe
2025
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPASLAN EKDAL
- Bulanık su altı görüntülerinde derin öğrenme tabanlı balık tespiti
Deep learning based fish detection in turbid underwater images
TANSEL AKGÜL
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
DOÇ. DR. BEHÇET UĞUR TÖREYİN
- Dam break induced flood analysis by soft computing techniques
Yumuşak hesaplama teknikleri ile baraj yıkılması kaynaklı taşkın analizi
HALİD AKDEMİR
Yüksek Lisans
İngilizce
2022
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. CİHAN BAYINDIR
- Sivas ili Yıldız Göleti sulama alanındaki tarım işletmelerinin ekonomik analizi
The economic analysis of agricultural farms in the Yıldız Dam irrigation area of Sivas province
ZEHRA ERDOĞAN
Yüksek Lisans
Türkçe
2025
ZiraatTokat Gaziosmanpaşa ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
PROF. DR. ADNAN ÇİÇEK