Geri Dön

Reinforcement learning-based multi-objective analog/RF circuit optimization

Pekiştirmeli öğrenme tabanlı çok amaçlı analog/RF devre optimizasyonu

PDF İndir

  1. Tez No: 1023340
  2. Yazar: HAKAN TAŞKIRAN
  3. Danışmanlar: DOÇ. DR. ENGİN AFACAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: Gebze Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Analog devre tasarımı, birbiriyle çoğu zaman çelişen çok sayıda performans hedefinin eşzamanlı olarak eniyilenmesini gerektiren son derece karmaşık bir süreçtir. Kazanç, bant genişliği, güç tüketimi, faz marjı, gürültü ve silikon alanı gibi metrikler arasında uygun bir denge kurulabilmesi, yüksek kaliteli bir Pareto-optimal cephe (Pareto optimal front, PoF) elde edilmesini zorunlu kılar. Ancak geleneksel meta-sezgisel algoritmalar (Genetik Algoritmalar, Parçacık Sürü Optimizasyonu, Benzetilmiş Tavlama vb.), yüksek hesaplama maliyetleri, uzun benzetim süreleri ve yerel minimumlara takılma eğilimleri nedeniyle bu süreçte sınırlı başarı göstermektedir. Bu çalışmada, analog ve RF devre eniyilemesi için Çok Amaçlı Derin Deterministik Politika Gradyanı (MODDPG) adı verilen, Takviyeli Öğrenme (Reinforcement Learning, RL) tabanlı yeni bir yaklaşım önerilmektedir. Önerilen yöntem, Çok Amaçlı Takviyeli Öğrenme (Multi-Objective Reinforcement Learning, MORL) mimarisi üzerine inşa edilmiş olup, Python ortamında HSPICE benzetim aracı ile entegre edilmiştir. Geliştirilen sistem, 130 nm PDK kullanılarak otomatik testbench ölçüm akışı üzerinden değerlendirilmiştir.Yöntemin doğrulaması; üç analog devre (aktif yüklü diferansiyel yükselteç, katlanmış-kaskod yükselteç, gerilim karşılaştırıcı) ve bir RF devre (CMOS çapraz-bağlı LC osilatör) üzerinde gerçekleştirilmiştir. Kazanç–bant genişliği, faz gürültüsü–güç ve gecikme–güç gibi ödünleşim (trade-off) hedefleri için Pareto cepheleri üretilmiş; faz marjı, genlik, osilasyon başlama süresi ve yonga alanı gibi kısıtlar da dikkate alınmıştır. Yöntem kapsamında üç farklı başlatma stratejisi test edilmiştir: (i) N adet rastgele simülasyon ile sanal Pareto başlatımı, (ii) yalnızca iki rastgele çözüm ile başlatma ve (iii) uç noktaların Yapay Sinir Ağları (Artificial Neural Networks, ANN) kullanılarak saniyeler içinde tahmin edildiği model tabanlı başlatma. Elde edilen sonuçlar, önerilen yöntemin hiperhacim, Pareto verimliliği ve yakınsama süresi gibi kalite metrikleri açısından geleneksel meta-sezgisel yaklaşımlardan daha üstün olduğunu göstermektedir. MODDPG algoritması, toplam benzetim sayısında %10'dan fazla azalma sağlamış ve Pareto optimalite doğruluğunda %95'in üzerinde başarı elde etmiştir. Bu bulgular, takviyeli öğrenmenin analog devreleri etkin biçimde eniyileme yaparken insan müdahalesini azalttığını; daha hızlı, daha esnek, yeniden kullanılabilir ve otonom bir analog/RF tasarım sürecine olanak sağladığını ortaya koymaktadır.

Özet (Çeviri)

Analog circuit design constitutes a highly complex process that entails the simultaneous optimization of multiple, often conflicting, performance objectives. Achieving an appropriate trade-off among metrics such as gain, bandwidth, power consumption, phase margin, noise, and silicon area requires the accurate identification of a high-quality Pareto-optimal front (PoF). Traditional metaheuristic algorithms (Genetic Algorithms, Particle Swarm Optimization, Simulated Annealing, etc.) show limited success in this process due to high computational costs, long simulation times, and a tendency to get trapped in local minima. In this study, a novel Reinforcement Learning (RL)-based approach called Multi-Objective Deep Deterministic Policy Gradient (MODDPG) is proposed for analog and RF circuit optimization. The proposed method is built on a Multi-Objective Reinforcement Learning (MORL) architecture and integrated with the HSPICE simulator in a Python environment. The developed system was evaluated using an automated testbench measurement flow on a 130 nm PDK. Validation of the method was performed on three analog circuits (active-loaded differential amplifier, folded-cascode amplifier, voltage comparator) and one RF circuit (CMOS cross-coupled LC oscillator). Pareto fronts were generated for trade-off objectives such as gain–bandwidth, phase noise–power, and delay– power, while constraints such as phase margin, amplitude, oscillation start-up time, and chip area were taken into account. Within the method, three different initialization strategies were tested: (i) virtual Pareto initialization with N random simulations, (ii) starting with only two random solutions, and (iii) model-based initialization, where endpoints were predicted within seconds using Artificial Neural Networks (ANNs). The results demonstrate that the proposed method outperforms traditional metaheuristic approaches in quality metrics such as hypervolume, Pareto efficiency, and convergence time. The MODDPG algorithm achieved more than a 10% reduction in total simulations and over 95% accuracy in Pareto optimality. These results indicate that reinforcement learning effectively optimizes analog circuits while reducing human intervention, enabling a faster, more flexible, reusable, and autonomous analog/RF design process.

Benzer Tezler

  1. Tez No

    992803

    Multi-objective optimization of regenerative active suspension systems using data-driven reinforcement learning

    Veri tabanlı pekiştirmeli öğrenme ile rejeneratif aktif süspansiyon sistemlerinin çok amaçlı optimizasyonu

    AHMED BEYATLI

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. VOLKAN SEZER

    DOÇ. DR. BİLAL EROL

  2. Tez No

    338459

    Batch mode reinforcement learning for controlling gene regulatory networks and multi-model gene expression data enrichment framework

    Gen ağlarını kontrol etmek için yığın biçiminde pekiştirmeli öğrenme ve çoklu-model gen ifade verisi zenginleştirme yöntemi

    UTKU ŞİRİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    Bilim ve TeknolojiOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FARUK POLAT

  3. Tez No

    946559

    Bağlantılı hibrit elektrikli araçlar için pekiştirmeli öğrenme tabanlı akıllı enerji yönetim stratejisi

    Reinforcement learning-based intelligent energy management strategy for connected hybrid electric vehicles

    OZAN YAZAR

    Doktora

    Türkçe

    Türkçe

    2025

    Makine MühendisliğiTarsus Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SERDAR COŞKUN

  4. Tez No

    803654

    Deep reinforcement learning approach in control of Stewart platform- simulation and control

    Stewart platformunun kontrolünde derin pekistirmeli öğrenme yaklaşımıc- simülasyon ve kontrol

    HADI YADAVARI

    Doktora

    İngilizce

    İngilizce

    2023

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SERHAT İKİZOĞLU

    DR. ÖĞR. ÜYESİ VAHİT BARIŞ TAVAKOL

  5. Tez No

    603313

    A reinforcement learning approach for adaptive dispatching rule acquisition for automated guided vehicles

    Otomatik yönlendirmeli araçlara takviyeli öğrenme yaklaşımı ile adaptif dağıtım kuralları kazandırılması

    YASEMİN AYLİN AKTÜRK

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Endüstri ve Endüstri MühendisliğiBoğaziçi Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GÖNENÇ YÜCEL

    PROF. DR. FİKRET ÜMİT BİLGE

Geri Dön