Solving perishable inventory control problems in a competitive environment using reinforcement learning
Rekabetçi ortamda pekiştirmeli öğrenmeyi kullanarak bozulabilir envanter kontrol problemlerini çözme
- Tez No: 929245
- Danışmanlar: PROF. DR. TANER BİLGİÇ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 105
Özet
Rekabetçi bir ortamda bozulabilir envanter kontrol problemi, birden fazla oyuncunun kendi envanter sistemlerini yöneterek diğer oyuncularla rekabet ettiği problemdir. Her periyotta yenileme kararları ile karmaşık bir ardışık karar alma gerektiren bozulabilir envanter kontrol problemi, algoritmik ve zaman karmaşıklığı nedeniyle dinamik programlama (DP) tabanlı denge algoritmalarıyla verimli bir şekilde çözülemez. Bu nedenle, rekabetçi ortamda problemi çözmek için yaklaşıklık teknikleri kullanılarak algoritmalar geliştirilir. Bildiğimiz kadarıyla bu tez, rekabetçi bir ortamda bozulabilir envanter kontrol problemini Pekiştirmeli Öğrenme (PÖ) algoritmaları ile çözen ilk çalışmadır. Bu tezde, rekabetçi bir ortamda bozulabilir envanter kontrol problemi, sabit ikmal ve dinamik ikmal durumlarına karşı analiz edilmiş ve her iki durum için de PÖ algoritması ile denge çözümleri elde edilmiştir. DP tabanlı denge çözümleri, çoklu aktör dünyasındaki tekniklerden biri olan Nash-Q Öğrenmesi kullanılarak uygulanan algoritmalar ile yaklaşık olarak hesaplanmaktadır. Rekabetçi bir ortamda her iki durum için de farklı parametrelere sahip deneysel bir tasarım hazırlanmaktadır. Testler sonucunda, her iki durum için geliştirilen Nash Q-Öğrenmesi algoritması, DP tabanlı algoritmanın çalışma süresinden önemli ölçüde daha kısa bir sürede DP tabanlı denge çözümlerine yakınsar. Ayrıca, Nash Q-Öğrenmesi algoritmasıyla eğitilen ajanların rekabetçi ortamda diğer ajanlara kıyasla daha yüksek bir kazanma oranına sahip olduğu gözlemlenmektedir. Öğrenme hızı ve yordamının rekabetçi avantaj sağladığı durumlar gözlenmiştir.
Özet (Çeviri)
The perishable inventory control problem in a competitive environment is the problem where multiple players compete with other players by managing their own inventory systems. The perishable inventory control problem, which requires a complex sequential decision-making problem with replenishment decisions in each period, cannot be efficiently solved with DP-based equilibrium algorithms due to algorithmic and time complexity. Therefore, algorithms are developed using approximation techniques to solve the problem in this competitive environment. To the best of our knowledge, this is the first study that solves the perishable inventory control problem in a competitive environment with Reinforcement Learning (RL) algorithms. In this thesis, the perishable inventory control problem in a competitive environment is analyzed in cases against fixed replenishment and dynamic replenishment, and equilibrium solutions are obtained for both cases with the RL algorithm. DP-based equilibrium solutions are approximated with algorithms implemented using Nash-Q Learning, one of the techniques in the Multi-agent RL (MARL) world. An experimental design with different parameters is prepared for both cases in a competitive environment. As a result of the tests, the Nash Q-Learning algorithm developed for both cases converges to DP-based equilibrium solutions in a considerably shorter time than the runtime of the DP-based algorithm. In addition, it is observed that the agents trained with the Nash Q-Learning algorithm have a higher win-rate compared to other agents in the competitive environment. Learning rate and learning policy can lead to competitive advantage for the agents.
Benzer Tezler
- Hizmet kalite yönetimi ve satış/alacak departmanında kalite geliştirme çalışmalarına yönelik bir uygulama
Service quality management and an application for improving quality in the sales/credit department
ÜLFET ALTUNCU
Yüksek Lisans
Türkçe
1997
Enerjiİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. SITKI GÖZLÜ
- Deep Q-Learning approaches for stochastic dynamic optimization problems
Stokastik dinamik optimizasyon problemleri için Derin Q-Öğrenme yaklaşımları
TUĞÇE YAVUZ
Doktora
İngilizce
2024
Endüstri ve Endüstri MühendisliğiEskişehir Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ONUR KAYA
- Geliştirilmiş SPEA2 ile envanter probleminin çözümü
Inventory optimization with a novel SPEA2 algorithm
ALİ BAYRAKDAR
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ILHAM HUSEYINOV
- Dynamic inventory allocation problems with stochastic demand
Rastsal talep modeliyle dinamik envanter dağılımı problemleri
SERAY AYDIN
Yüksek Lisans
İngilizce
2008
Endüstri ve Endüstri MühendisliğiKoç ÜniversitesiEndüstri Mühendisliği Bölümü
DOÇ. DR. FİKRİ KARAESMEN
YRD. DOÇ. DR. YALÇIN AKÇAY
- Prioritization of factors affecting agency value for an airline company using fuzzy cognitive mapping method
Bir havayolu şirketi için acente değerini etkileyen faktörlerin bulanık bilişsel haritalama yöntemi ile önceliklendirilmesi
MUHAMMED FATİH ÖZER
Yüksek Lisans
İngilizce
2023
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. İREM UÇAL SARI