Derin pekiştirmeli öğrenme ile elektrikli araçlarda dinamik rotalama
Dynamic routing via deep reinforcement learning for electrical vehicles
- Tez No: 1018971
- Danışmanlar: PROF. DR. KEMAL ÖZKAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Elektrikli araçlarda dinamik rotalama problemi, derin pekiştirmeli öğrenme, Çift Derin Q-Ağı, enerji kısıtlı rotalama, akıllı ulaşım sistemleri, Elektrikli araçlar, Pekiştirmeli öğrenme, Rotalama, Dynamic electric vehicle routing problem, deep reinforcement learning, double deep q-network, energy-constrained routing, intelligent transportation systems, Electric vehicles, Reinforcement learning
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Eskişehir Osmangazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, elektrikli araçlar için dinamik müşteri taleplerini içeren araç rotalama problemi, derin pekiştirmeli öğrenme tabanlı bir yaklaşımla ele alınmıştır. Artan çevresel kaygılar ve sürdürülebilir ulaşım ihtiyacı doğrultusunda elektrikli araçların kullanımının yaygınlaşması, enerji kısıtları ve şarj altyapısı gibi yeni zorlukları da beraberinde getirmiştir. Klasik araç rotalama problemlerinden farklı olarak, elektrikli araçların batarya kapasitesi ve şarj istasyonu ziyaretleri dikkate alınması gerekmektedir. Bu bağlamda farklılıklar ve ayrıca dinamik müşteri talepleri de dikkate alınarak bir çözüm geliştirilmiştir. Çalışma kapsamında problem, elektrikli araçlarda dinamik rotalama problemi olarak modellenmiş ve çözüm sürecinde Çift Derin Q-Ağı tabanlı bir pekiştirmeli öğrenme yaklaşımı geliştirilmiştir. Önerilen yaklaşımda, araçların mevcut konumu, batarya seviyeleri ve sistemdeki müşteri talepleri dikkate alınarak her karar anında en uygun eylemin seçilmesi sağlanmıştır. Böylece, çevrimiçi karar verebilen ve dinamik ortamlara uyum sağlayabilen bir çözüm yapısı oluşturulmuştur. Geliştirilen yöntem, farklı veri kümeleri ve çeşitli dinamiklik dereceleri altında test edilmiş ve performansı, klasik Derin Q-ağı, genetik algoritma, açgözlü arama algoritması ve rastgele seçilim yaklaşımları ile karşılaştırılmıştır. Ayrıca statik senaryolar için karma tamsayılı doğrusal programlama modeli referans çözüm olarak kullanılmıştır. Elde edilen sonuçlar, önerilen yönteminin toplam mesafe minimizasyonu açısından diğer yöntemlere kıyasla daha düşük maliyetli ve daha kararlı çözümler ürettiğini göstermiştir. Özellikle yüksek dinamiklik derecelerinde önerilen yöntemin performans üstünlüğünün daha belirgin hâle geldiği gözlemlenmiştir. Bu tezde önerilen yaklaşımın, dinamik elektrikli araç rotalama problemlerinde çözüm kalitesi, hesaplama verimliliği ve çevrimiçi uygulanabilirlik açısından etkili bir yöntem olduğu ortaya koyulmuştur. Elde edilen sonuçlar, tüm veri setleriyle birlikte değerlendirildiğinde, önerilen yönteminin rastgele seçilim yöntemine kıyasla ortalama %44.38, açgözlü arama yöntemine kıyasla %31.27, genetik algoritmaya kıyasla %6.62 ve DQN yöntemine kıyasla %11.22 oranında toplam mesafe açısından iyileşme sağladığını göstermektedir. Bununla birlikte, önerilen yöntemin çözüm süresi açısından da düşük hesaplama maliyeti ile hızlı ve etkin çözümler üretebildiği gözlemlenmiştir.
Özet (Çeviri)
In this thesis, the vehicle routing problem involving dynamic customer demands for electric vehicles is addressed using a deep reinforcement learning-based approach. In line with increasing environmental concerns and the need for sustainable transportation, the widespread use of electric vehicles has introduced new challenges such as energy constraints and charging infrastructure. Unlike classical vehicle routing problems, it is necessary to consider the battery capacity of electric vehicles and visits to charging stations. In this context, a solution has been developed by taking into account these differences as well as dynamic customer demands. Within the scope of the study, the problem is modeled as a dynamic routing problem in electric vehicles, and a Double Deep Q-Network-based reinforcement learning approach is developed in the solution process. In the proposed approach, the most appropriate action is selected at each decision step by considering the current location of the vehicles, battery levels, and customer demands in the system. Thus, a solution structure capable of making online decisions and adapting to dynamic environments has been established. The developed method is tested under different datasets and various degrees of dynamism, and its performance is compared with classical Deep Q-Network, genetic algorithm, greedy search algorithm, and random selection approaches. Additionally, a mixed integer linear programming model is used as a reference solution for static scenarios. The obtained results show that the proposed method produces lower-cost and more stable solutions compared to other methods in terms of total distance minimization. It has been observed that the performance superiority of the proposed method becomes more evident, especially at higher degrees of dynamism. Within the scope of this thesis, it has been demonstrated that the proposed approach is an effective method in terms of solution quality, computational efficiency, and online applicability in dynamic electric vehicle routing problems. When the results are evaluated across all datasets, the proposed method provides an average improvement of 44.38% compared to the random selection method, 31.27% compared to the greedy search method, 6.62% compared to the genetic algorithm, and 11.22% compared to the DQN method in terms of total traveled distance. Furthermore, it has been observed that the proposed method can produce fast and efficient solutions with low computational cost in terms of solution time.
Benzer Tezler
- Elektrikli araç hızlı şarj istasyonlarında öncelikli servis için derin pekiştirmeli öğrenme tabanlı kaynak yönetim modeli ve uzun-kısa süreli bellek ile ortalama bekleme süresi tahmini
Deep reinforcement learning based resource management model for priority service in electric vehicle express charging stations and average delay time prediction with long-short-term memory
ASLINUR ÇOLAK
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiTobb Ekonomi ve Teknoloji ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. NİLGÜN FESCİOĞLU-ÜNVER
- Fuel cell air supply system control using deep q-network
Derin q-aği kullanilarak yakit hücresi hava besleme sistemi kontrolü
EMİR OĞUZ
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET ONAT
- Deep learning meets reconfigurable ıntelligentsurfaces: Novel system designs and solutionstoward 6G and beyond
Derin öğrenme, yeniden yapilandirilabilir akilli yüzeylerle buluşuyor: 6G ve ötesine doğru yeni sistem tasarimlari ve çözümleri
YARKIN GEVEZ
Doktora
İngilizce
2025
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERTUĞRUL BAŞAR
- Short term electricity load forecasting with deep learning
Derin öğrenme ile kısa dönemli elektrik yük talep tahmini
İBRAHİM YAZICI
Doktora
İngilizce
2022
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA
- Pekiştirmeli öğrenme ile yüz görüntüsünün yüksek çözünürlükte elde edilmesi
High resolution facial image acquisition with reinforcement learning
EMRE ALTINKAYA
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI