Elektrikli araçlar için pekiştirmeli öğrenme tabanlı rota planlama
Reinforcement learning based route planning for electric vehicles
- Tez No: 943441
- Danışmanlar: PROF. DR. AHMET YAZICI, PROF. DR. İNCİ SARIÇİÇEK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Eskişehir Osmangazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 129
Özet
Kent nüfusunun hızlı artışı ve e-ticaret faaliyetlerindeki yükseliş, son kilometre teslimat süreçlerinde önemli zorlukları beraberinde getirmiştir. Bu bağlamda, çevre dostu bir alternatif olarak elektrikli araçların (EV) son kilometre teslimatta kullanımı ön plana çıkmaktadır. Elektrikli araçlar, hava kirliliğini azaltmanın yanı sıra enerji verimliliği ve sürdürülebilir şehir içi ulaşım sistemlerinin geliştirilmesine de önemli katkılar sağlamaktadır. Bu dinamikler içinde, Elektrikli Araç Rotalama Problemleri (EVRP), geleneksel Araç Rotalama Problemlerinin (VRP) yerini almaya başlamıştır. Klasik araç rotalamada yakıt ikmali göz ardı edilirken, elektrikli araç rotalama problemlerinde şarj istasyonlarının konumu ve uzun şarj süreleri dikkate alınmalıdır. Bu tez çalışmasında elektrikli araç rotalama problemlerinden biri olan Kapasiteli Elektrikli Araç Rotalama Problemi ve Topla Dağıt Elektrikli Araç Rotalama Problemi ele alınmaktadır. Kapasiteli Elektrikli Araç Rotalama Problemi (CEVRP) için pekiştirmeli öğrenme yöntemlerinden biri olan yeni bir Q-öğrenme algoritması önerilmiştir. Zaman Pencereli Kapasiteli Elektrikli Araç Rotalama Problemi (CEVRPTW) ve Zaman Pencereli Topla Dağıt Elektrikli Araç Rotalama Problemi (EVRP-PDP-TW) için derin pekiştirmeli öğrenme yöntemlerinden biri olan yeni bir Derin Q-Ağı (DQN) algoritması geliştirilmiştir. Bildiğimiz kadarıyla EVRP-PDP-TW problemi için pekiştirmeli öğrenme yaklaşımını kullanan ilk çalışma budur. Ayrıca çalışmada, Eskişehir Osmangazi Üniversitesi Meşelik Kampüsü'ndeki gerçek coğrafi konumlar esas alınarak pekiştirmeli öğrenme yöntemleri için ortam ihtiyacını karşılayacak iki yeni veri seti oluşturulmuştur. Kapasiteli elektrikli araç rotalama problemlerinde kullanılabilecek ESOGU-CEVRPTW veri seti ve topla dağıt elektrikli araç rotalama problemlerinde kullanılabilecek ESOGU-EVRP-PDP-TW veri seti için matematiksel model tarafından elde edilen optimal çözümler sunulmuştur. Geliştirilen algoritmaların performansı, önerilen özgün veri setlerindeki optimal sonuçlarla karşılaştırılmıştır. Deneysel sonuçlar, önerilen Q-öğrenme ve DQN algoritmalarının elektrikli araçların menzil kısıtları ve şarj gereksinimlerini etkin bir şekilde dikkate alarak optimal sonuçlara çok yakın sonuçları oldukça kısa sürede elde ettiğini göstermektedir. Ayrıca, derin pekiştirmeli öğrenme tabanlı algoritmaların eğitim süreci yalnızca bir defa gerçekleştirildiğinden, aynı dağılıma sahip yeni problemlere doğrudan uygulanabilmesi, geleneksel optimizasyon yöntemlerine göre büyük bir avantaj sağlamaktadır. Önerilen algoritmaların sağladığı bu avantajlar lojistik süreçlerinin verimliliği artırmaktadır.
Özet (Çeviri)
The rapid increase in urban populations and the rise of e-commerce activities have introduced significant challenges in last-mile delivery processes. In this context, electric vehicles (EVs) have emerged as an environmentally friendly alternative for last-mile delivery operations. Electric vehicles not only reduce air pollution but also substantially contribute to improving energy efficiency and developing sustainable urban transportation systems. Within this framework, Electric Vehicle Routing Problems (EVRP) have started to replace conventional Vehicle Routing Problems (VRP). Unlike traditional vehicle routing, which typically overlooks refueling constraints, electric vehicle routing problems must consider the locations of charging stations and extended charging durations. This thesis addresses two specific variants of electric vehicle routing problems: the Capacitated Electric Vehicle Routing Problem (CEVRP) and the Electric Vehicle Routing Problem with Pickup and Delivery (EVRP-PDP). For the CEVRP, a novel Q-learning algorithm approaches is proposed. Additionally, for the Capacitated Electric Vehicle Routing Problem with Time Windows (CEVRPTW) and Pickup Delivery Electric Vehicle Routing Problem with Time Windows (EVRP-PDP-TW), a novel Deep Q-Network (DQN) algorithm is developed. To the best of our knowledge, this is the first study employing reinforcement learning methods specifically for the EVRP-PDP-TW. Furthermore, two new datasets are introduced based on real geographic locations from Eskişehir Osmangazi University Meşelik Campus. Optimal solutions obtained through mathematical model are presented for these datasets: the ESOGU-CEVRPTW dataset, applicable to capacitated electric vehicle routing problems, and the ESOGU-EVRP-PDP-TW dataset, applicable to pick up delivery electric vehicle routing problems. The performance of the proposed algorithms is benchmarked against the optimal solutions from the generated datasets. Experimental results indicate that the proposed Q-learning and DQN algorithms achieving near-optimal results within remarkably short computational times. Moreover, once trained, these deep reinforcement learning-based algorithms can be directly applied to new problems drawn from the same distribution without requiring additional training, offering significant advantages over traditional optimization methods. These advantages notably enhance the efficiency of logistics operations.
Benzer Tezler
- Engellerden kaçınan ve çoklu hedef takib sistemi gerçekleştirebilen akıllı sürü İHA navigasyonu
Intelligent swarm UAV navigation system with obstacles avoidance and multi-target tracking capability
ELEBAID KHALID ELSAYED BAKHIT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ÖZEK
- Bağlantılı hibrit elektrikli araçlar için pekiştirmeli öğrenme tabanlı akıllı enerji yönetim stratejisi
Reinforcement learning-based intelligent energy management strategy for connected hybrid electric vehicles
OZAN YAZAR
Doktora
Türkçe
2025
Makine MühendisliğiTarsus ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERDAR COŞKUN
- Elektrikli araç hızlı şarj istasyonlarında öncelikli servis için derin pekiştirmeli öğrenme tabanlı kaynak yönetim modeli ve uzun-kısa süreli bellek ile ortalama bekleme süresi tahmini
Deep reinforcement learning based resource management model for priority service in electric vehicle express charging stations and average delay time prediction with long-short-term memory
ASLINUR ÇOLAK
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiTOBB Ekonomi ve Teknoloji ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. NİLGÜN FESCİOĞLU-ÜNVER
- Multi-agent reinforcement learning based energy management with P2P/V2G
P2P/V2G ile çoklu-temsilcili pekiştirmeli öğrenme tabanlı enerji yönetimi
METE YAVUZ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Okan ÜniversitesiOtomotiv Mekatroniği ve Akıllı Araçlar Ana Bilim Dalı
DOÇ. DR. ÖMER CİHAN KIVANÇ
- Derin sinir ağları için mutasyon tabanlı test kütüphanesi geliştirilmesi
Development of mutation based test library for deep neural networks
GÖKHAN ÇETİNER
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. UĞUR YAYAN
PROF. DR. AHMET YAZICI