Fuel cell air supply system control using deep q-network
Derin q-aği kullanilarak yakit hücresi hava besleme sistemi kontrolü
- Tez No: 1017127
- Danışmanlar: DOÇ. DR. AHMET ONAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Dünya genelinde artan nüfus ve ekonomik büyüme, enerji tüketiminin sürekli olarak artmasına neden olmaktadır. Enerji üretimi, her ülkenin endüstriyel kalkınmasının vazgeçilmez bir bileşeni olmaya devam etmektedir. Ancak kömür, petrol ve doğal gaz gibi geleneksel fosil yakıt kaynakları, hızla tükenmelerinin yanı sıra küresel ısınmayı hızlandıran sera gazı emisyonları nedeniyle ciddi çevresel sorunlara yol açmaktadır. Kötüleşen çevre koşulları, yükselen küresel sıcaklıklar ve sera gazı emisyonları göz önüne alındığında, fosil yakıtlardan uzaklaşarak yenilenebilir enerji kaynaklarına geçiş zorunlu hale gelmiştir. Bu bağlamda güneş, rüzgâr, jeotermal ve hidrojen gibi temiz ve verimli enerji kaynakları, konvansiyonel kaynakların yerine geçebilecek en uygulanabilir alternatifler olarak öne çıkmaktadır. Özellikle hidrojen, güneş ve rüzgâr enerjisinin kesintili doğası nedeniyle hem yakıt hem de enerji taşıyıcısı ve depolama aracı olarak büyük potansiyel sergilemektedir. Sunduğu karbonsuz alternatifler sayesinde hidrojen, küresel ölçekte uygulanabilir bir enerji kaynağı ve yakıt alternatifi olarak giderek daha fazla kabul görmektedir. Hidrojen, oksidant ve hidrojen kullanılarak elektrik, ısı, su ve sıfır kirlilik üreten yeni nesil bir güç üretim cihazının temel yakıtı olarak konumlanmaktadır. Yakıt hücresi, elektrokimyasal bir redoks reaksiyonu aracılığıyla çalışır: hidrojen ve oksijenin reaksiyonu sonucunda enerji, su ve ısı üretilir. Anotta hidrojen katalitik ayrışmaya uğrayarak protonlar ve elektronlar oluşturur; protonlar proton değişim membranı üzerinden katoda geçerken, elektronlar dış devreye aktarılarak güç yüküne enerji sağlar. Katotta ise oksijen, protonlar ve elektronlarla reaksiyona girerek su ve ısı üretir. Mobilite araçlarının çevresel etkileri değerlendirildiğinde, üç temel tahrik sistemi karşımıza çıkmaktadır: içten yanmalı motorlar, bataryalı elektrikli araçlar ve yakıt hücreli elektrikli araçlar. İçten yanmalı motorlar, fosil yakıtların doğrudan yanmasına dayandığından önemli miktarda karbondioksit, azot oksitler ve partikül madde emisyonu üretmektedir. Bataryalı elektrikli araçlar ise sıfır egzoz emisyonu sunmakla birlikte, sınırlı menzil ve uzun şarj süreleri gibi dezavantajlara sahiptir. Proton değişim membran yakıt hücreleri (PEMFC), sıfır emisyon, düşük gürültü, hızlı tepki süresi, uzun menzil ve kısa yakıt ikmali süresi gibi avantajları nedeniyle özellikle otomotiv sektöründe öne çıkan bir teknoloji haline gelmiştir. PEMFC sistemleri, kimyasal enerjiyi doğrudan elektrik enerjisine dönüştüren elektrokimyasal cihazlar olup, yüksek verimlilik, yüksek güç yoğunluğu, düşük çalışma sıcaklığı ve minimum kirlilik özellikleriyle taşınabilir güç uygulamalarından hibrit elektrikli araçlara ve yakıt hücreli elektrikli araçlara kadar geniş bir uygulama alanı bulmaktadır. PEMFC sistemleri genel olarak alt sistemden oluşmaktadır: sıcaklık yönetimi alt sistemi, su yönetim sistemi, hidrojen besleme alt sistemi, hava besleme alt sistemi ve güç elektroniği yönetimi alt sistemi. Hidrojen besleme alt sistemi, anot ve katot arasındaki basınç farkını minimize etmek için hızlı elektriksel valfler kullanırken, hava besleme alt sistemi kompresör aracılığıyla katoda gerekli oksijeni sağlar. Su ve sıcaklık dinamikleri hava akış dinamiklerine kıyasla çok daha yavaş değiştiğinden, birçok çalışmada yakıt hücresinin sabit sıcaklık koşullarında çalıştığı varsayılmaktadır. Güç elektroniği alt sistemi yük bağlanmasını kontrol eder ve uygulamaya özgü dönüştürücüler içerir. Hava besleme sisteminin en kritik bileşeni hava kompresörüdür. Yakıt hücresinin kararlı çalışması için katot tarafında yeterli oksijenin bulunması zorunludur. Oksijen fazlalık oranı (OER, λ ile ifade edilir), katoda sağlanan oksijen miktarının elektrokimyasal reaksiyonda tüketilen oksijen miktarına oranı olarak tanımlanır ve sistem verimliliğinin temel göstergelerinden biridir. Kompresör ve hava besleme manifoldlarının yavaş hava akış dinamikleri nedeniyle, yük akımı ani değiştiğinde, yeterli oksijen hızlı bir şekilde sağlanamazsa katotta oksijen açlığı meydana gelebilir. Bu durum, membran yüzeyinde sıcak noktaların oluşmasına ve polimerik membranlarda geri dönüşü olmayan hasara yol açabilir. Ayrıca oksijen açlığı, düşük güç üretimi, membran bozulması ve hatta yığın çalışma ömrünün kısalması gibi ciddi sorunlara neden olmaktadır. Manifold sistemi, yığına gaz sağlayan ve yığından gaz boşaltan tüm boruları temsil eden toplu bir hacim olarak modellenmektedir. Besleme manifoldu basıncı, akış aşağı katot dinamiklerine bağlıdır ve katot değişkenlerinin dinamikleri hem besleme manifoldundan gelen havaya hem de harici akım yükü miktarına bağlıdır. İdeal gaz varsayımına dayalı olarak, oksijen ve azotun kısmi basınçları diferansiyel denklemler aracılığıyla türetilebilir. OER kontrolü, PEMFC sistemlerinin hem ekonomik verimliliği hem de güvenliği açısından büyük önem taşımaktadır. Sistem doğrusal olmama, parametrik belirsizlik ve yük bozuklukları gibi zorluklarla karşı karşıyadır. Hızlı yük akımı artışı anında, yakıt hücresi içindeki kimyasal reaksiyon büyük ölçüde hızlanır ve bu durum aşırı oksijen tüketimine, hatta kalıcı hücre hasarına neden olabilecek oksijen açlığına yol açabilir. Katottaki OER'nin 1'den büyük tutulması gerekmektedir; ancak bu, daha yüksek OER'nin her zaman daha iyi performans anlamına geldiği şeklinde yorumlanmamalıdır. Aksine, aşırı yüksek OER, hava kompresörünün daha fazla güç tüketmesine ve dolayısıyla net güç çıktısının azalmasına neden olur. Net güç, yığın güç üretimi ile kompresör tarafından tüketilen parazitik güç arasındaki fark olarak tanımlanır ve yüksek yüklerde bu parazitik kayıplar yakıt hücresinin güç tüketiminin yüzde otuzuna kadar ulaşabilir. Araştırmalar, farklı yığın akımları ve OER değerleri için maksimum net gücün, OER 2 ile 2.5 arasındayken elde edildiğini göstermektedir. Bu nedenle OER kontrolünün temel amacı, oksijen açlığını önlerken kompresör güç tüketimini minimize etmek ve böylece sistem verimliliğini optimize etmektir. Optimal OER referansı, yük akımına bağlı olarak değişmekte olup genellikle 1.5 ile 3 arasında bir değer aralığında bulunmaktadır. PEMFC sistemlerinin kontrol tasarımında karşılaşılan en büyük zorluklardan biri, sistemin karmaşık ve yüksek derecede doğrusal olmayan dinamik yapısıdır. Geleneksel model tabanlı kontrol yaklaşımları, doğru bir sistem modeli gerektirmektedir; ancak PEMFC'ler, yaşlanma ve bozulma nedeniyle doğrusal olmayan ve zamanla değişen belirsizlikler sergilemektedir. Bu durum, model öngörücü kontrol (MPC) gibi yöntemlerin performansının büyük ölçüde doğru sistem modeline bağlı olması nedeniyle önemli sınırlamalar yaratmaktadır. Bu bağlamda, pekiştirmeli öğrenme (reinforcement learning) tabanlı yaklaşımlar önemli avantajlar sunmaktadır. Q-öğrenme algoritması, ortamın dinamiklerinin tahminini gerektirmeden optimal bir politika belirleyen model-bağımsız bir yaklaşımdır. Bu yöntem, sistemin doğrusal olmama, parametrik belirsizlik ve yük bozuklukları gibi zorluklarını ele almak için veri odaklı bir şekilde çalışır ve sistem dinamiklerinin karakterizasyonuna ihtiyaç duymaz. Elde edilen bulgular, özellikle temel PI denetleyicinin yetersiz kalibre edildiği durumlarda, PI ve pekiştirmeli öğrenme iş birliğinin geçici rejimde OER kontrol performansını belirgin biçimde iyileştirdiğini göstermektedir. Bu iyileşme, yanıt hızının artmasıyla birlikte hem güvenlik açısından kritik OER ihlallerinin hem de verim kaybına yol açan sapmaların anlamlı ölçüde azalması şeklinde ortaya çıkmaktadır. Bununla birlikte, bazı yapılandırmalarda kararlı hâl doğruluğunda gözlenen düşüş, denge noktasına yaklaşırken devam eden düzeltici davranışların önüne geçilebilmesi için ödül fonksiyonunun ve eylem kısıtlarının titizlikle tasarlanması gerektiğine işaret etmektedir. Sonuçlar, hibrit kontrol mimarisinin başarımının büyük ölçüde yapılandırmaya bağlı olduğunu ve pekiştirmeli öğrenmenin, dayanıklılık ve verimliliğin eş zamanlı olarak sağlanmasının kritik olduğu PEMFC hava yönetim sistemlerinde, klasik PI denetiminin yerine geçen bağımsız bir çözümden ziyade tamamlayıcı bir düzeltme mekanizması olarak daha etkili olduğunu ortaya koymaktadır.
Özet (Çeviri)
The increasing global population and economic growth are causing a continuous rise in energy consumption. Energy production remains an indispensable component of industrial development for every country. However, traditional fossil fuel sources such as coal, oil, and natural gas are causing serious environmental problems due to their rapid depletion as well as greenhouse gas emissions that accelerate global warming. Considering the deteriorating environmental conditions, rising global temperatures, and greenhouse gas emissions, the transition from fossil fuels to renewable energy sources has become imperative. In this context, clean and efficient energy sources such as solar, wind, geothermal, and hydrogen emerge as the most viable alternatives to replace conventional sources. Particularly hydrogen exhibits great potential as both a fuel and an energy carrier and storage medium due to the intermittent nature of solar and wind energy. Through the carbon-free alternatives it offers, hydrogen is increasingly being recognized as a globally viable energy source and fuel alternative. Hydrogen is positioned as the primary fuel for a new generation power generation device that produces electricity, heat, water, and zero pollution using oxidant and hydrogen. The fuel cell (FC) operates through an electrochemical redox reaction: the reaction of hydrogen and oxygen produces energy, water, and heat. At the anode, hydrogen undergoes catalytic decomposition to form protons and electrons; while protons pass through the proton exchange membrane to the cathode, electrons are transferred to the external circuit to provide energy to the power load. At the cathode, oxygen reacts with protons and electrons to produce water and heat. When evaluating the environmental impacts of mobility vehicles, three main propulsion systems emerge: internal combustion engines, battery electric vehicles, and FC electric vehicles. Internal combustion engines produce significant amounts of carbon dioxide, nitrogen oxides, and particulate matter emissions as they are based on the direct combustion of fossil fuels. Battery electric vehicles, while offering zero tailpipe emissions, have disadvantages such as limited range and long charging times. Proton exchange membrane fuel cells (PEMFC) have become a prominent technology, particularly in the automotive sector, due to advantages such as zero emissions, low noise, fast response time, long range, and short refueling time. PEMFC systems are electrochemical devices that directly convert chemical energy into electrical energy and find a wide range of applications from portable power applications to hybrid electric vehicles and FC electric vehicles, with characteristics of high efficiency, high power density, low operating temperature, and minimal pollution. PEMFC systems generally consist of 5 subsystems: thermal management subsystem, water management system, hydrogen supply subsystem, air supply subsystem, and power electronics management subsystem. While the hydrogen supply subsystem uses fast electrical valves to minimize the pressure difference between the anode and cathode, the air supply subsystem provides the necessary oxygen to the cathode through a compressor. Since water and temperature dynamics change much more slowly compared to air flow dynamics, many studies assume that the FC operates under constant temperature conditions. The power electronics subsystem controls load connection and includes application-specific converters. The most critical component of the air supply system is the air compressor. For stable operation of the FC, the presence of sufficient oxygen at the cathode side is mandatory. The oxygen excess ratio (OER, denoted with λ) is defined as the ratio of the amount of oxygen supplied to the cathode to the amount of oxygen consumed in the electrochemical reaction and is one of the fundamental indicators of system efficiency. Due to the slow air flow dynamics of the compressor and air supply manifolds, when the load current changes suddenly, oxygen starvation can occur at the cathode if sufficient oxygen cannot be rapidly supplied. This situation can lead to the formation of hot spots on the membrane surface and irreversible damage to polymeric membranes. Additionally, oxygen starvation causes serious problems such as low power generation, membrane degradation, and even shortening of stack operating life. The manifold system is modeled as a collective volume representing all pipes that supply gas to the stack and drain gas from the stack. The supply manifold pressure depends on downstream cathode dynamics, and the dynamics of cathode variables depend on both the air from the supply manifold and the amount of external current load. Based on the ideal gas assumption, the partial pressures of oxygen and nitrogen can be derived through differential equations. OER control is of great importance for both the economic efficiency and safety of PEMFC systems. The system faces challenges such as nonlinearity, parametric uncertainty, and load disturbances. During rapid load current increase, the chemical reaction within the FC accelerates substantially, and this situation can lead to excessive oxygen consumption and even oxygen starvation that can cause permanent cell damage. The OER at the cathode must be kept greater than 1; however, this should not be interpreted to mean that higher OER always implies better performance. Conversely, excessively high OER causes the air compressor to consume more power and consequently reduces net power output. Net power is defined as the difference between stack power generation and parasitic power consumed by the compressor, and at high loads, these parasitic losses can reach up to thirty percent of the FC's power consumption. Research shows that maximum net power for different stack currents and OER values is obtained when OER is between 2 and 2.5. Therefore, the primary objective of OER control is to prevent oxygen starvation while minimizing compressor power consumption and thus optimizing system efficiency. The optimal OER reference varies depending on load current and is generally found in a value range between 1.5 and 3. One of the greatest challenges encountered in control design of PEMFC systems is the complex and highly nonlinear dynamic structure of the system. Traditional model-based control approaches require an accurate system model; however, PEMFCs exhibit nonlinear and time-varying uncertainties due to aging and degradation. This situation creates significant limitations as the performance of methods such as model predictive control (MPC) is largely dependent on an accurate system model. In this context, reinforcement learning-based approaches offer significant advantages. The Q-learning algorithm is a model-free approach that determines an optimal policy without requiring estimation of the environment's dynamics. This method works in a data-driven manner to address challenges such as system nonlinearity, parametric uncertainty, and load disturbances, and does not require characterization of system dynamics. The findings demonstrate that PI and reinforcement learning collaboration markedly improves transient OER control by increasing response speed and diminishing both safety-critical OER violations and efficiency-reducing deviations, especially when the baseline PI controller is inadequately calibrated. The decline in steady-state accuracy in specific configurations underscores the necessity for precise reward shaping and action constraint design to prevent ongoing corrective behavior approaching equilibrium. The findings indicate that hybrid control performance is fundamentally dependent on configuration and support that reinforcement learning is most effective as a supplementary corrective mechanism rather than a standalone alternative for classical PI control in PEMFC air management systems, where durability and efficiency must be concurrently maintained.
Benzer Tezler
- Optimized power control strategy for a proton exchange membrane fuel cell system
Proton değişim membranlı yakıt hücresi sistemi için optimize edilmiş güç kontrol stratejisi
ÖMER BURAK SARIÇAY
Yüksek Lisans
İngilizce
2024
Otomotiv Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- Electrified powertrain simulation and validation of a fuel cell electric vehicle
Yakıt pilli bir elektrikli aracın elektrik güç akış simülasyonu ve doğrulanması
BURAK AKAR
Yüksek Lisans
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
- Analysis of the availability and applicability of fuel cell as a main power unit for a commercial ship
Bir ticari gemi için yakıt pilinin ana güç üreticisi olarak kullanılabilirliği ve uygulanabilirliğinin analizi
ÖMER BERKEHAN İNAL
Yüksek Lisans
İngilizce
2018
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma İşletme Mühendisliği Ana Bilim Dalı
PROF. DR. CENGİZ DENİZ
- Design and computer realization of three level dc/ac inverter using half bridges and voltage vector
Design and computer realization of three level dc/ac inverter using half bridges and voltage vector
ABDULLAH HAMAWIYA
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik MühendisliğiGaziantep ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ARİF NACAROĞLU
- Modelling longitudinal motion of an electric vehicle and wheel slip control through NN based uncertainty prediction
Elektrikli aracın boyuna hareketinin modellenmesi ve yapay sinir ağı tabanlı belirsizlik kestirimli tekerlek kayma kontrolü
DUYGU ÖZYILDIRIM
Yüksek Lisans
İngilizce
2021
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. OVSANNA SETA ESTRADA