Geri Dön

Reinforcement learning based battery thermal management controller for electric vehicle charge time optimization using horizon data

Ufuk verileri kullanılarak takviyeli öğrenme tabanlı batarya termal yönetim kontrolü ile elektrikli araçlarda şarj süresinin iyileştirilmesi

PDF İndir

  1. Tez No: 878246
  2. Yazar: YUNUS TURHAN
  3. Danışmanlar: DOÇ. DR. MURAT YILMAZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektrik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektrik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 105

Özet

Elektrikli araçlar sürdürülebilir ulaşıma geçiş nedeniyle günümüzde popülerlik kazanmaktadır. İçten yanmalı motorlu araçlara kıyasla emisyonların azaltılması açısından önemli faydalar sunmaktadırlar. İçten yanmalı motorlu araçlar petrol türevli fosil kaynaklara bağımlıdırlar. Fosil yakıt kaynakları sınırlı olmaları sebebiyle genellikle elektrik enerjisine göre daha maliyetlidirler. Bu sebeple elektrikli araçlar fosil yakıtlı araçlara göre kullanım açısından daha düşük maliyetlidir. Elektrikli araçların temel bileşenlerinden biri olan batarya, aracın performansını ve menzilini belirleyen en önemli etkenlerden biridir. Diğer bir deyişle aracın kullanıcılara sağladığı deneyimde kritik bir rol oynamaktadır. Günümüzde elektrikli araçlardaki batarya paketlerinin çoğunda lityum-iyon bazlı batarya hücreleri kullanılmaktadır. Lityum-iyon bazlı bataryalar, kurşun-asit veya nikel bazlı batarya türlerine kıyasla daha yüksek enerji ve güç yoğunluğuna, daha uzun yaşam döngüsüne ve daha yüksek verimliliğe sahip oldukları için elektrikli araçlarda yaygın olarak kullanılmaktadır. Elektrikli araçlarda menzile etki eden faktörlerden birisi batarya kapasitesidir. Batarya kapasitesi, bataryanın sahip olduğu elektrik enerjisinin miktarını temsil eder. Çoğunlukla elektrikli binek araçlarda batarya kapasitesi 40 kWh ile 110 kWh arası değişmektedir. Bataryanın kapasitesi arttıkça boyut, ağırlık ve maliyeti de artmaktadır. Araçlarda kullanılabilecek olan maksimum batarya hacmi ve ağırlığı sınırlı olduğundan, bataryaların enerji yoğunluğu araçlarda kullanılabilecek maksimum kapasitesiyi limitleyen önemli faktörlerden biridir. Menzil de aynı şekilde bu limitten etkilenmektedir. Bataryalar elektrik enerjisini içlerinde gerçekleşen elektrokimyasal reaksiyonlarla sağlar. Bu reaksiyonlar sıcaklık koşullarından etkilenerek bataryanın performansını etkiler. Bataryalar, iç dirençleri nedeniyle şarj ve deşarj sırasında ısı üretir, aşırı sıcaklıklar bataryanın iç yapısını oluşturan materyallerde bozulmalara ve kullanım ömrünün azalmasına neden olabilir. Sıcaklık belirli bir sınırı aşarsa, hücrelerin kararsız bir hale gelip alev alabileceği veya patlayabileceği geri döndürülemez bir olaya yol açabilir. Bu nedenle elektrikli araç bataryalarında, güvenli bir çalışma sağlamak için batarya paketini sürekli izlemekten sorumlu bir batarya yönetim sistemi (BMS) bulunur. BMS, deşarj ve şarj güç limitlerini kontrol ederken bataryanın voltajını, akımını, sıcaklığını ve şarj durumunu izler ve ayrıca batarya paketinin sıcaklık yönetiminden sorumludur. Elektrikli araçlarda termal yönetim sistemi batarya paketi, elektrik motoru, güç elektroniği komponentleri ve araç kabini gibi sistemler için gerekli soğutma veya ısıtmayı sağlar. BMS içindeki algoritma ile batarya sıcaklığının her çalışma koşulu için en uygun aralıkta kalmasını sağlamak amacıyla termal yönetim sistemi ile haberleşerek gerekli ısıtma ve soğutmayı gerçekleştirir. İçten yanmalı motorlu araçlarda motorun çalışma verimliliği düşük olduğundan çok fazla ısı üretimi olur ve genellikle soğuk havalarda motorun ürettiği ısı kabini ısıtmak için kullanılabilir. Bu da ısının dışarıya atılması yerine kabini ısıtmak için kullanılması sebebiyle verimli bir kullanım biçimidir. Elektrikli araçlarda elektrik motoru içten yanmalı motora kıyasla çok daha verimli çalıştığı için ürettiği ısı miktarı da sınırlıdır. Bu sebeple kabin ve batarya ısıtması için elektrikli araçlarda elektrik enerjisi ile çalışan bir ısıtıcı ünite bulunur. Isıtıcı kullanım ihtiyacı sebebiyle enerji tüketimi soğuk havalarda artar. Aynı şekilde sıcak havalarda da batarya sıcaklığı arttığında batarya paketi soğutma ihtiyacı duyabilir. Isıtma ve soğutma için kullanılan bu enerji, aracın menzilini direkt olarak etkilediği için iyi bir şekilde yönetilmesi gereklidir. Bu sebeple termal yönetim sisteminde kullanılan kontrol yöntemleri elektrikli araçlar için önemlidir. Elektrikli araçlarda kullanıcıların deneyimini etkileyen diğer bir nokta ise şarj süresidir. Batarya paketlerinin şarj performansı genellikle kullanılan hücre tiplerine, batarya paketi konfigürasyonuna, şarj durumuna ve sıcaklık koşullarına bağlıdır. Maksimum şarj gücünde aracı şarj etmek için batarya paketi sıcaklığının optimum aralıkta olması gerekir. Ortam koşullarının çok sıcak veya soğuk olduğu durumlarda batarya optimum sıcaklıkta olmadığı için aracın şarj performansı kısıtlanır ve şarj süresi uzar. Bu sebeple termal yönetim sistemi batarya paketini optimum çalışma sıcaklığı aralığında tutmak için önem kazanır. Batarya termal yönetim sisteminin kontrolü için geleneksel yaklaşım kural tabanlı kontrol yöntemidir. Kural tabanlı kontrol yöntemi, soğutma veya ısıtma işlemlerini gerçekleştirmek için bataryanın sıcaklığı, ortam sıcaklığını, şarj durumu gibi koşullara bağlı bir kural seti kullanır. Bu kural setinde tanımlanan şartlar gerçekleştiğinden bu şarta karşılık gelen işlem için gerekli aktüatörler çalıştırılır. Bu şekilde bataryanın belirli sıcaklık aralığında çalışması sağlanabilir. Kural tabanlı kontrol yöntemlerinin uygulanması nispeten kolaydır, bu da onları birçok uygulama için uygun hale getirir. Ancak, bu yöntem önceden tanımlanmış kurallar kullandığından, dinamik değildir ve operasyonları kurallar kümesiyle sınırlıdır, bu nedenle enerji tüketimi veya çalışma sıcaklığı açısından her zaman optimum performansı vermeyebilir. Kural tabanlı kontrolörün bu tip zayıf yönlerini gidermek için, termal yönetim sistemi kontrolü için optimum kontrol yöntemleri de yaygın olarak kullanılmaktadır. Model kestirimli kontrol (MPC) bu alanda en çok kullanılan yöntemdir. MPC, bir sistemin gelecekteki davranışlarını öngörerek, bu davranışlara göre optimum kontrol çıktıları veren bir kontrol yöntemidir. Temel olarak, MPC, bir sistemin matematiksel model kullanarak gelecekteki davranışlarını tahmin eder ve bu davranışlar üzerinden belirli bir performans kriterini optimize eden kontrol sinyalleri üretir. MPC metodu için, çalışma koşullarına dayalı olarak sistem davranışını tahmin etmek amacıyla sistemin yüksek doğrulukta modelinin kurulması gereklidir. Daha sonra amaca bağlı olarak bir maliyet fonksiyonu oluşturulur ve MPC algoritması maliyet fonksiyonunu minimize ederek optimum kontrol problemini çözer. Termal yönetim sistemi için bu maliyet fonksiyonu enerji tüketimini ve istenmeyen diğer sıcaklık değerlerini içerebilir. Bu maliyet fonksiyonunu minimize edecek ısıtma veya soğutma eylemleri MPC tarafından kontrol edilerek optimum kontrol sağlanmış olur. Bu yöntem, kural tabanlı kontrolörlere kıyasla daha fazla işlemci gücü gerektirir daha verimli sonuçlar elde edilir. Elektrikli araç termal sisteminin davranışını modellemedek amacıyla yapay sinir ağları (YSA) da yaygın olarak kullanılmaktadır. YSA, insan beynindeki sinir ağlarından esinlenerek oluşturulan matematiksel modellerdir. YSA kullanılarak desen tanıma, sınıflandırma, tahmin yapma gibi görevler gerçekleştirilebilir. YSA'lar sistemin giriş çıkışlarına ait gerçek verileri kullanarak sistemin her durumdaki davranışını öğrenebilir. Bu sayede sistemin matematiksel olarak yüksek doğrulukta bir modelinin oluşturulmasına ihtiyaç duyulmaz. YSA'lar, gerçek zamanlı hesaplama performanslarını artırmak ve modelleme bağımlılığını azaltmak için bazı optimum kontrol yöntemleriyle birlikte kullanılabilir. Bu tür yapılar hibrit kontrol yöntemlerine dahildir. Ayrıca YSA'ların bir alt kümesi olarak takviyeli öğrenme (RL) yöntemi de bir optimum kontrol yöntemi olarak kullanılır. RL bir YSA modelinin belirli bir görevi en iyi şekilde gerçekleştirmeyi öğrenmeye çalıştığı bir yöntemdir. RL'in öğrenmesi için bir ödül fonksiyonu tanımlanır ve RL bu ödül fonksiyonunu maksimize edecek şekilde tepki vermeyi öğrenir. Ödül fonksiyonu, sistemde hedeflenen ve ulaşılması istenen parametrelere doğrultusundaki eylemleri ödüllendirirken, istenmeyen eylemleri de cezalandırır. Böylece RL bu hedefe ulaşmak için çıktılarını optimize etmeyi öğrenebilir. Bu çalışmada, kestirimli batarya termal yönetim kontrolü kullanılarak bir elektrikli aracın şarj süresinin en aza indirilmesi amaçlanmıştır. Öngörülmüş verileri kullanılarak farklı ortam koşulları için batarya termal yönetimi için RL tabanlı bir kontrol yöntemi önerilmiştir. Gerçek kullanım koşuluna benzer bir senaryonun simulasyon ortamında gerçekleştirilmiştir. Bu senaryo, 20 dakikalık bir sürüş ardından aracın şarj edilmesini içerir. Sürüş esnasındaki hız değerleri bir sürüş döngüsünden alınmıştır. Aynı senaryo farklı ortam sıcaklığı koşullarında incelenmiştir. Araç dinamikleri, tahrik, enerji depolama ve termal sistemlerin kapsamlı modeli oluşturulmuştur. Bataryanın termal yönetimi için şarj süresinin optimizasyonuna bağlı bir maliyet fonksiyonu oluşturulmuştur. RL kontrolcü, simülasyon ortamında her bir senaryo için maliyeti en aza indirmeyi amaçlayacak şekilde eğitilmiştir. Ortam sıcaklıkları ve şarj performansları arasındaki ilişki RL tabanlı termal yönetim metodu ve geleneksel kural tabanlı termal yönetim metodu kullanılarak incelenmiştir. Aynı koşullar altında koşturulan simülasyonlara göre RL kontrolcü ve kural tabanlı kontrolcünün sonuçları kıyaslanmıştır. Sonuçlara göre, kural tabanlı kontrolcüye kıyasla RL kontrolcünün, şarj süresinde %14'e kadar bir azalma sağladığı gözlemlenmiştir.

Özet (Çeviri)

Electric vehicles (EVs) are gaining popularity today due to the shift towards sustainable transportation. They offer significant benefits in terms of reduced emissions when compared to internal combustion engine (ICE) vehicles. Battery is a fundamental component of EVs, playing a critical role in effecting vehicle performance and range, in other words, convenience of the vehicle for users. Today most battery packs in the EVs use lithium-ion based battery cells, because they have higher energy and power density, longer life cycles and higher efficiency when compared to other battery types like lead-acid or nickel-based batteries. Batteries provide the electrical energy by electrochemical reactions that is happening inside them. These reactions are affected by the temperature conditions thus influencing the performance of the battery. Batteries generate heat during charging and discharging due to their internal resistances, extreme temperatures may lead to battery degradation and reduction in life cycle. If the temperature exceeds certain limit, it can lead to thermal runaway, where the battery becomes unstable and may catch fire or explode. That is why EV batteries have a battery management system (BMS), responsible for constantly monitoring the battery pack in order to ensure safe and robust operation. The BMS monitors voltage, current, temperature and state of charge (SOC) of the battery while controlling discharge and charge power limits and also it is responsible for battery pack's temperature management. Thermal management system (TMS) provides the necessary cooling or heating for the battery pack and rest of the vehicle systems. With the algorithm inside the BMS it controls the TMS to ensure the battery temperature remains within the optimal range for every operating condition. Charge performance is also important when it comes to users convenient. Battery packs charge performance usually depends on the cell types that are used, battery pack configuration, SOC and temperature conditions. In order to have advertised maximum charge power of the EV, battery pack temperature has to be in optimum range. That is not always the case where too hot or cold ambient operation conditions thus charge power is usually limited during these conditions. That is why also TMS control is important in order to keep battery pack in optimum operating temperature range to get improved charging performance. The traditional approach for battery thermal management control is the rule-based control method. The rule-based control method uses battery temperature and ambient temperature as input for look-up tables to create cooling or heating requests. Rule-based control methods are relatively easy to implement which makes them suitable for many applications. However, since this method uses predefined rules, it is not dynamic and limited by the set of rules, so it may not always give the optimum performance in terms of energy consumption or operating temperature. In order to address these issues of rule-based controller, optimum control methods are also widely used for TMS. Model predictive control (MPC) is the most used method in this area. For using MPC, system has to be modeled in high fidelity in order to predict system behaviour based on operation conditions. After that a cost function is created depending on the application and the MPC algorithm solves the optimum control problem by minimizing the cost function and it controls the heating or cooling actions accordingly. This method requires more computational resources compared to rule-based controllers but results in more efficient control of TMS. Artificial neural networks (ANNs) also widely used to model system behaviour for TMS. When working with real systems, these approach does not require to create a high fidelity system model since ANNs learns from the inputs and outputs of the system to predict its behaviour. ANNs are used in combination with some optimum control methods in order to increase their real time calculation performance and reduce the modeling dependency. Also as a subset of ANNs, reinforcement learning (RL) method is an optimum control method that ANNs are trained by using a reward function that represents goals to achieve in the system. RL aims to learn to react to inputs of the system that maximizing the reward. Reward function must be created in a way that rewards the good actions that aligned with the goal and punishes the actions that are undesired so that RL can learn to optimize its outputs to achieve that goal. As the main goal usually determined as optimized energy consumption for thermal management. This study focuses on minimizing the charging duration of an EV by using predictive battery thermal management control. A RL based control method is proposed for battery TMS for different environment conditions using horizon data. A drive cycle is used for the use case of driving until charge station and starting to charge in different environment conditions. Vehicle dynamics, propulsion, energy storage, and comprehensive thermal systems are modeled in this study to create a training and testing environment for RL based controller. A cost function is created based on the optimization problem of charge duration and energy consumption for thermal management of the battery. The RL controller is trained with the simulation environment to minimize the cost using the drive cycle as horizon data. Relation between ambient temperatures and charge performances are investigated with RL based TMS method and traditional rule based TMS method. RL controller and the rule-based controller is investigated for the same initial conditions like temperature and SOC for the given test scenario. Based on the results, 14% decrease in charging duration observed using RL controller compared to the rule-based controller.

Benzer Tezler

  1. Tez No

    710293

    Reinforcement learning based energy management strategy for fuel cell hybrid vehicles

    Hidrojen yakıt hücreli araçlar için pekiştirmeli öğrenmeli enerji kontrol stratejisi

    ZEKERİYA ENDER EĞER

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Mekatronik MühendisliğiSabancı Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TUĞÇE YÜKSEL BEDİZ

    PROF. DR. SERHAT YEŞİLYURT

  2. Tez No

    895202

    Rl based network deployment and resource management solutions for opportunistic wireless access for aerial networks in disaster areas and smart city applications

    Felaket alanları ve akıllı şehir uygulamalarında uçan fırsatçı kablosuz erişim ağları için takviyeli öğrenme tabanlı ağ oluşturma ve kaynak yönetimi çözümleri

    MEHMET ARİMAN

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. BERK CANBERK

  3. Tez No

    877203

    Enhancing netwok lifetime of underwater wireless sensor networks with smart energy harvesting

    Sualtı duyarga ağlarında akıllı enerji hasadı ile yaşam ömrünün uzatılması

    ÇİĞDEM ERİŞ BALOĞLU

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. PINAR BOLUK

  4. Tez No

    682220

    Resource allocation in vehicular edge computing networksbased on deep reinforcement learning

    Araç uç bilişiminde derin pekiştirmeli öğrenmeye dayalıkaynak tahsisi

    HOMA MALEKI

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. LÜTFİYE DURAK ATA

  5. Tez No

    636993

    Resilient ultra dense networks under UAV coverage for disaster management

    Afet yönetiminde İHA'lar ile dayanıklı ultra yoğun ağlar

    ELİF BOZKAYA

    Doktora

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BERK CANBERK

Geri Dön