Geri Dön

Design and application of half-bridge LLC resonant converter using reinforcement learning control

Pekiştirmeli öğrenme kontrollü yarım köprü LLC rezonans dönüştürücü tasarımı ve uygulaması

PDF İndir

  1. Tez No: 860820
  2. Yazar: MUHAMMET KILIÇTAŞ
  3. Danışmanlar: DOÇ. DR. SALİH BARIŞ ÖZTÜRK
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektrik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektrik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 106

Özet

Günden güne artan enerji tüketimi ile birlikte birçok elektronik cihaz verimli güç kaynaklarına ihtiyaç duymaktadır. Enerji verimliliği elektronik sistemlerin tasarımında kritik öneme sahiptir. Güç kaynakları arasında yüksek verim, yüksek güç yoğunluğu ve düşük elektromanyetik gürültüye sahip olmasından dolayı LLC rezonanslı dönüştürücüler öne çıkmaktadır. Bu avantajları elde etmek için doğru komponent ve doğru parametrelerin kullanılması son derece önemlidir. Bu tez çalışmasında 24V çıkış gerilimi ve 12A çıkış akımı sağlayabilen 288W toplam çıkış gücüne sahip dijital kontrollü yarım köprü LLC rezonans dönüştürücü tasarımı, analizi ve uygulaması gerçekleştirilmiştir. Temel harmonik yaklaşım metodu ile LLC rezonans dönüştürücünün kazanç karakteristiği çıkarılmıştır. LLC rezonans dönüştürücü tasarımında entegre trafo tercih edilerek trafonun kaçak endüktansı, devrenin rezonans endüktansı olarak kullanılmıştır. Trafonun kaçak endüktansının kazanç karakteristiği üzerindeki etkisi incelenmiştir. Dönüştürücü isterlerine göre kalite faktörü ve endüktans oranı belirlenmiş olup, rezonans tank parametreleri hesaplanmıştır. Dönüştürücünün rezonans frekansı 100kHz olarak belirlenmiştir. LLC rezonans dönüştürücü devresinin simülasyon analizleri MATLAB Simulink programında yapılmıştır. Hesaplanan komponent değerlerine göre modellenen devrenin tasarımı, farklı giriş gerilimi ve farklı çıkış yükleri altında gerçekleştirilen simülasyonlarla doğrulanmıştır. Tasarlanan LLC rezonans dönüştürücü devresinin şematik ve PCB tasarımları Altium Designer programında gerçekleştirilmiştir. Tasarımın üretim çıktıları alındıktan sonra devre kartı basılarak dizgi süreci ile birlikte laboratuvar testlerine uygun hale getirilmiştir. LLC rezonans dönüştürücü çıkış gerilim regülasyonu frekans kontrolü ile gerçekleştirilmiştir. Dönüştürücünün giriş kısmında kullanılan MOSFET anahtarlarının görev döngüsü (duty cycle) %50 olarak belirlenmiştir. Kısa devre durumunu engellemek için anahtarların iletime girişlerinde ölü zaman (dead time) bırakılmıştır. Dönüştürücü kontrolünde ST firmasının ARM Cortex M4 mimarisine sahip Nucleo F411RE geliştirme kartı kullanılmıştır. Devre kartında giriş gerilimi ve çıkış geriliminin ADC örneklemeleri geliştirme kartında yapılmaktadır. Geliştirme kartından çıkış olarak alınan MOSFET anahtarlama sinyali devredeki yarım köprü anahtar sürücüsüne iletilmektedir. STM32CubeMX programı ile STM32F411RE mikrodenetleyicisinin saat ayarları yapılmıştır. Ayrıca mikrodenetleyici, analog-dijital çevirici ve darbe genişlik modülasyonu ayarları yapılarak yazılım çalışmaları için hazırlanmıştır. Dönüştürücünün frekans kontrolünde derin pekiştirmeli öğrenme türlerinden biri olan DQN algoritması kullanılmıştır. DQN algoritması değer tabanlı bir pekiştirmeli öğrenme türüdür. Algoritma öğrenme prosesi için MATLAB Simulink programından yararlanılmıştır. MATLAB Simulink programında dönüştürücü devresinde“RL Agent”temsilci bloğu kullanılmıştır.“RL Agent”temsilci bloğu üç girişe sahiptir. Bunlar gözlem, ödül ve durdurma sinyalleridir. Gözlem girişi ile devrenin anlık çıkış gerilimi ile istenen çıkış gerilim değeri (24V) arasındaki fark gözlenmektedir. Ödül sinyali ile her öğrenme adımında temsilcinin kazandığı ödül puanı hesaplanmaktadır. Durdurma sinyali ile çıkış geriliminin istenen sınırlar dışına çıkması durumunda durdurma komutu gönderilmektedir.“RL Agent”bloğunun çıkışı karar sinyalidir. Temsilci, giriş sinyalleri ile elde ettiği verilere dayanarak öğrenme politikası oluşturmakta ve bu politikaya göre alınacak aksiyonu belirlemektedir. Bu tez çalışmasında temsilci devrenin çalışma frekansının artmasına, azalmasına veya sabit kalmasına karar vermektedir.“RL Agent”temsilci bloğu çıkışına bağlanan“MATLAB Function”bloğu ile temsilcinin verdiği karara göre, devrenin mevcut durumdaki anahtarlama frekans değerine artırma, azaltma veya sabit bırakma işlemleri uygulanır. Bu bloktan çıkan frekans değeri“Pulse Generator”bloğu ile %50 görev döngüsü değerine sahip kare dalgaya dönüştürülerek MOSFET kapı sinyali olarak kullanılmaktadır. MATLAB arayüzünde pekiştirmeli öğrenmede kullanılan temsilci ve öğrenme prosesi için gerekli parametre ayarları gerçekleştirildikten sonra öğrenim prosesi başlatılmıştır. Öğrenme süreci 1000 iterasyon olarak belirlenmiş olup, bir iterasyon 100 adımdan oluşmaktadır. Her bir adımdan sonra“RL Agent”temsilci bloğu, çıkış gerilimini 24V değerinde sabit tutmak için çıkış aksiyonunu (anahtarlama frekansı) güncellemektedir. Her adım sonrası ödül değeri belirlenerek 100 adım sonunda bu ödüllerin toplanmasıyla ilgili iterasyonun kümüle ödül değeri hesaplanmaktadır. Pekiştirmeli öğrenme sürecinde LLC rezonans dönüştürücüye her iterasyonda farklı giriş gerilimi ve farklı yük değeri uygulanarak çıkış gerilim regülasyonu izlenmiştir. İterasyonlara göre alınan ödül grafiği değerlendirilmiştir. Öğrenme süreci ile birlikte temsilcinin farklı giriş gerilimi ve farklı yük değeri durumlarına hızlıca uyum sağlayarak iterasyonlarda aldığı ödül değerini giderek artırdığı görülmüştür. Öğrenme süreci tamamlandıktan sonra temsilcinin karar verme yeteneği, farklı koşullarda gerçekleştirilen simülasyonlarla doğrulanmıştır. Algoritmalar MATLAB Simulink programında bulunan“Code Compiler”uygulaması ile C veya C++ kodu olarak derlenmektedir.“Code Compiler”uygulama ayarlarından cihaz tipi olarak“ARM Cortex”ve donanım kartı olarak“STM32 Nucleo F411RE”seçilmiştir. Eğitilen DQN pekiştirmeli öğrenme algoritması C kodu olarak derlenmiştir. Bu yazılım herhangi bir C derleyicisinde açılarak gerçek uygulamalara entegre edilebilir. STM32F411RE mikrodenetleyicisinin pin atamaları ve arayüz ayarlamaları STM32CubeMX programında yapıldıktan sonra STM32CubeIDE programında yazılım çalışmaları gerçekleştirilmiştir. MATLAB Simulink“Code Compiler”uygulaması ile derlenen algoritma yazılımı STM32CubeIDE programına eklenmiştir. Devre testlerinde gerçek çıkış gerilimi değeri örneklenerek, istenen çıkış değeriyle (24V) farkı alınmıştır. Bu değer, DQN algoritmasının giriş değişkeni olarak kullanılmaktadır. Bu değere göre DQN algoritması çıkış aksiyonuna karar vermektedir. Alınan karar ile LLC rezonans dönüştürücünün anahtarlama frekansı kontrolü gerçekleşmektedir. Hazırlanan devre kartı ve kontrolcü ile devrenin deneysel testleri gerçekleştirilmiştir. Laboratuvar testlerinde devrenin gerilim, akım ve frekans dalga şekillerinin izlenmesi için LeCroy osiloskop ile ölçüm probları kullanılmıştır. Ayrıca ayarlanabilir çıkış yükü verebilen GWInstek 300W DC yük, giriş ve çıkış gerilim değerlerini ölçmek için iki multimetre, 15V çıkış sağlayabilen güç kaynağı ve kontrolcü değişkenlerini izlemek için bilgisayar kullanılmıştır. Devrenin rezonans altı, rezonans üstü ve rezonans frekansında çalışma durumları ile farklı giriş gerilimi değerlerinde çalışması incelenmiştir. Rezonans akımı, MOSFET kapı sinyalleri ve çıkış doğrultucu diyotlarının akımları izlenmiştir. Devrenin regülasyon yeteneğinin incelenmesi için giriş gerilimine ve çıkış yüküne ani değişimler uygulanmıştır. Dönüştürücünün regülasyon yeteneği doğrulanmıştır. Laboratuvar testleri gerçekleştirilen LLC rezonans dönüştürücünün verimi maksimum %92 olarak ölçülmüştür.

Özet (Çeviri)

With increasing energy consumption, many electronic devices require efficient power supplies. Energy efficiency is critical in the design of electronic systems. Among power supplies, LLC resonant converters stand out due to their high efficiency, high power density, and low electromagnetic noise. To achieve these advantages, it is extremely important to use the right components and the right parameters. In this thesis study, the design, analysis, and application of a digitally controlled half-bridge LLC resonant converter were carried out. The total output power is 288W and it can provide 24V output voltage and 12A output current. The gain characteristic of the LLC resonant converter was extracted with the Fundamental Harmonic Approximation method. In the LLC resonant converter, an integrated transformer is preferred and the leakage inductance of the transformer is used as a resonant inductor of the circuit. Quality factor and inductance ratio were determined according to the converter requirements, and resonance tank parameters were calculated. The resonance frequency of the converter is determined as 100kHz. Simulation analysis of the LLC resonant converter circuit was performed in the MATLAB Simulink program. The design of the circuit was modeled according to the calculated component values. The design has been verified by simulations performed under different input voltages and different output loads. The schematic and PCB designs of the LLC resonant converter circuit were made in the Altium Designer program. After the production printouts, the electronic circuit board was prepared. It has been made suitable for laboratory tests. LLC resonant converter output voltage regulation is achieved by frequency control. The duty cycle of the primary MOSFET switches is determined as 50%. A dead time is left between the gate signals of the switches to impede a line-neutral short-circuit condition. ST Nucleo F411RE development board with ARM Cortex M4 architecture was used in converter control. ADC samplings of input voltage and output voltage are done on the development board. The MOSFET switching signal is the output signal of the development board. The signal is transmitted to the half-bridge driver in the circuit. Clock settings of the STM32F411RE microcontroller were made with the STM32CubeMX program. In addition, analog-digital converter and pulse width modulation settings were made and the microcontroller is prepared for software studies. DQN algorithm, one of the deep reinforcement learning types, was used in the frequency control of the converter. DQN algorithm is a type of value-based reinforcement learning. MATLAB Simulink program was used for the algorithm learning process. The“RL Agent”block was used in the converter circuit in the MATLAB Simulink program. The“RL Agent”block has three inputs. These are observation, reward, and stop signals. With the observation input, the difference between the instant output voltage and the desired output voltage (24V) is observed. With the reward signal, the agent reward values are calculated at each learning step. With the stop signal, a stop command is sent if the output voltage goes beyond the desired limits. The output of the“RL Agent”block is the decision signal. The agent creates a learning policy based on the data obtained through input signals and determines the action to be taken according to this policy. In this thesis study, the agent decides whether the operating frequency of the circuit will increase, decrease, or remain constant. With the“MATLAB Function”block connected to the output of the“RL Agent”block, depending on the decision made by the agent, the current switching frequency value is regulated. The frequency value obtained from this block is converted into a square wave with a 50% duty cycle with the“Pulse Generator”block and used as a MOSFET gate signal. Parameter settings for the agent and learning process were made in the MATLAB interface. The learning process was determined as 1000 episodes. One episode consists of 100 steps. After each step, the“RL Agent”block updates the output action (switching frequency) to keep the output voltage constant at 24V. The reward value is determined after each step and the cumulative reward value of the episode is calculated by summing these rewards at the end of 100 steps. During the reinforcement learning process, the output voltage regulation was monitored by applying different input voltage and different load values to the LLC resonant converter in each episode. The reward chart according to the episodes was evaluated. It has been observed that the agent quickly adapts to different input voltage and different load situations and gradually increases the reward values in episodes. After the learning process was completed, simulations were performed under different conditions. The agent's decision-making was verified. The trained algorithms are compiled as C or C++ code with the“Code Compiler”application in the MATLAB Simulink program. In the“Code Compiler”application settings,“ARM Cortex”is selected as a device type, and“STM32 Nucleo F411RE”is selected as the hardware board. The trained DQN reinforcement learning algorithm was compiled as C code. This software can be edited in any C program and integrated into real applications. After the pin assignments and interface settings of the STM32F411RE microcontroller in the STM32CubeMX program, software studies were carried out in the STM32CubeIDE program. The algorithm software compiled with MATLAB Simulink“Code Compiler”was added to the STM32CubeIDE program. While the circuit was running, the actual output voltage value was sampled and its difference was taken with the desired output value (24V). This difference was used as an input for the DQN algorithm software. According to this value, the DQN algorithm decided to the output action. With the decision taken, the switching frequency of the LLC resonant converter was controlled. Experimental tests were carried out with the prepared LLC resonant converter board and its controller. In laboratory tests, LeCroy oscilloscope and measurement probes were used to monitor the voltage, current, and frequency waveforms of the converter. In addition, a GWInstek 300W DC load that can provide adjustable output load, two multimeters to measure input and output voltage values, a power supply that can provide 15V output and a computer to monitor controller variables were used. The circuit working operations at, above, and below resonance frequency were examined. The resonant current, MOSFET gate signals, and output rectifier diode currents were monitored. To examine the dynamic response of the converter, the step change of the input voltage and the step change of the output load were implemented. The voltage regulation ability of the converter was monitored and has been verified. The maximum efficiency of the converter was measured as 92%.

Benzer Tezler

  1. Tez No

    724851

    Yarım köprü rezonanslı dönüştürücünün tasarımı ve uygulaması

    Design and application of half bridge resonant converter

    MUSTAFA ÇAĞLAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik MühendisliğiYıldız Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURAK AKIN

  2. Tez No

    432890

    Design of digitally controlled llc resonant converter

    Sayısal kontrollü llc rezonans dönüştürücü tasarımı

    SERKAN DOĞANGÜNEŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Elektrik ve Elektronik MühendisliğiGebze Teknik Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ABDULKADİR BALIKÇI

  3. Tez No

    664885

    Dijital kontrollü LLC rezonans güç dönüştürücüsü tasarımı ve uygulaması

    Digitally controlled LLC resonant converter design and implementation

    BURAK GÖKÇEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖZGÜR ÜSTÜN

  4. Tez No

    855922

    İki yönlü üç seviyeli T-tipi LLC rezonans izole DA-DA dönüştürücünün tasarımı ve analizi

    Design and analysis of bidirectional three level T-type LLC resonant isolated DC-DC converter

    KEMAL KALAYCI

    Doktora

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiSakarya Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. UĞUR ARİFOĞLU

    DR. ÖĞR. ÜYESİ ONUR DEMİREL

  5. Tez No

    887281

    Yeni nesil anahtarlama elemanları kullanarak yüksek verimli ve geniş çalışma aralıklı LLC rezonans çevirici tasarımı

    LLC resonance converter design with high efficiency and wide operating range using new generation switching elements

    İBRAHİM ŞARA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZGÜR ÜSTÜN

Geri Dön