Multi-agent reinforcement learning based energy management with P2P/V2G
P2P/V2G ile çoklu-temsilcili pekiştirmeli öğrenme tabanlı enerji yönetimi
- Tez No: 834891
- Danışmanlar: DOÇ. DR. ÖMER CİHAN KIVANÇ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Enerji, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Energy, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Okan Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Otomotiv Mekatroniği ve Akıllı Araçlar Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 230
Özet
Bu çalışma, Pekiştirmeli Öğrenme algoritmalarından“Double Deep Q-Network”algoritmasını temel alan, komşular arası enerji alışverişini ve elektrikli araçları enerji kaynağı olarak kullanan bir enerji yönetim yapısı sunmaktadır. Bu çalışma, birden çok üretici ve tüketici, enerji depolama sistemi ve elektrikli araç barındıran bir ortamda, komşular arası enerji alışverişini ve elektrikli araçları enerji kaynağı olarak kullanmanın, elektrik faturalarındaki ve ana şebekeye olan bağımlılığı düşürme üzerindeki etkilerinin araştırmaktadır. İçerisinde 6 bağımsız ev barındıran bir yerleşim bölgesi kümesine pekiştirmeli öğrenme uygulanmıştır. Yüksek çeşitlilik oluşturmak için her evin yük gereksinimleri ve güneş enerjisi üretim verileri farklı kaynaklardan toplanmıştır. Gözlem uzayı, yük gereksinimi, güneş enerjisi üretimi, elektrikli araçların durumu gibi bilgileri içermektedir. Aksiyon uzayı, komşular arası enerji alışverişinde kullanılacak, elektrikli araçlar ve enerji depolama sisteminde bulunan bataryalardaki enerji akışını optimize edecek şekilde tasarlanmıştır. Enerji akışında kullanılacak aksiyon sinyallerine ek olarak, komşular arası enerji alışverişinde kullanılacak fiyat aksiyon sinyalleri de aksiyon uzayına eklendi. Belirlenen çevre özellikleri, girdi verileri ve öğrenme parametreleri ile Simulink simülasyonu gerçekleştirilmiştir. Simülasyon sonuçları, enerji akışını optimize etmenin ve komşular arası enerji alışverişi platformunu belirli bir kümeye dahil etmenin, elektrik faturalarında ortalama %19'luk düşüş sağlayabileceğini göstermiştir. Ayrıca, elektrikli araçlarda bulunan bataryaları sisteme dahil etmenin, ana şebekeye olan enerji bağımlılığını küme içinde ortalama 110 kWh düşürülebileceği gösterilmiştir. Bu çalışma ve simülasyon sonuçları, enerji kaynaklarını ve akışını pekiştirmeli öğrenme algoritması yardımıyla optimize ederek hem elektrik faturalarını hem de ana şebekeye olan enerji bağımlılığını azalttığı göstermektedir.
Özet (Çeviri)
An energy management structure based on Double Deep Q-Networks (DDQN) Reinforcement Learning (RL) algorithm with Peer-To-Peer (P2P) energy trading and Vehicle-To-Grid (V2G) functionalities is presented with this study. This study investigates the effectiveness of P2P energy trading and V2G functionalities on reducing the electricity bill of each houses and contributing to energy independency in an environment including multiple prosumers, Energy Storage System (ESS)s, and Electric Vehicle (EV). Reinforcement Learning (RL) was applied to a cluster including 6 independent houses in a residential area. Load requirements and solar energy production data of each house were collected from different sources to create high diversity. Observation space was designed with environmental information such as load requirement, solar energy production, and EV status etc. Action space of the environment was designed to optimize the energy flow from the ESSs, and EVs to be used in P2P energy trading. In addition to energy flow action signals, price action signals to be used in P2P energy trading added to the action space. Simulink simulation was performed with given environment specifications, input data and learning parameters. Simulation results showed that by implementing a P2P energy trading platform to a cluster could reduce electricity bill by 19% on average by optimizing the energy flow. Additionally, involving the batteries of EVs to the system via V2G could reduce main grid dependency by 110 kWh on average in the cluster. This study and simulation results conclude that implementing a P2P energy trading platform and V2G capability of EVs with RL algorithms optimize the system energy flow by controlling the energy sources therefore reduces the both electricity bills and energy dependence on the main grid.
Benzer Tezler
- Enhancing netwok lifetime of underwater wireless sensor networks with smart energy harvesting
Sualtı duyarga ağlarında akıllı enerji hasadı ile yaşam ömrünün uzatılması
ÇİĞDEM ERİŞ BALOĞLU
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR BOLUK
- Energy management of smart grid based on multi agent system and reinforcement learning
Çok ajanlı sistem ve takviye öğrenimine dayalı akıllı şebeke enerji yönetimi
ALI ABDULHASAN SALMAN AL-SAADI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiFen Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. OĞUZ KARAN
- Forecasting and reinforcement learning strategies for efficient energy exchange in peer-to-peer energy trading game among nano/microgrids: Empirical analysis
Nano/mikro şebekelerde eşler arası enerji ticaret oyunundaki etkili enerji ticareti için tahmin ve pekiştirmeli öğrenme stratejileri: Ampirik analiz
RABİA ŞEYMA GÜNEŞ
Yüksek Lisans
İngilizce
2023
EnerjiOrta Doğu Teknik ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
PROF. DR. SEVGİ ÖZKAN YILDIRIM
- Context detection and identification in multi-agent reinforcement learning on non-stationary environments
Çok etmenli pekiştirmeli öğrenmede devingen ortamlarda bağlam değişim tespiti ve tanimlama
EKREM TALHA SELAMET
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA BORAHAN TÜMER
- Towards modeling and mitigating misinformation propagation in online social networks
Çevrimiçi sosyal ağlarda yanlış bilgi yayılımının modellenmesi ve azaltılması üzerine
TOLGA YILMAZ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGÜR ULUSOY