Solving perishable inventory control problems in a competitive environment using reinforcement learning
Rekabetçi ortamda pekiştirmeli öğrenmeyi kullanarak bozulabilir envanter kontrol problemlerini çözme
- Tez No: 929245
- Danışmanlar: PROF. DR. TANER BİLGİÇ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Rekabetçi bir ortamda bozulabilir envanter kontrol problemi, birden fazla oyuncunun kendi envanter sistemlerini yöneterek diğer oyuncularla rekabet ettiği problemdir. Her periyotta yenileme kararları ile karmaşık bir ardışık karar alma gerektiren bozulabilir envanter kontrol problemi, algoritmik ve zaman karmaşıklığı nedeniyle dinamik programlama (DP) tabanlı denge algoritmalarıyla verimli bir şekilde çözülemez. Bu nedenle, rekabetçi ortamda problemi çözmek için yaklaşıklık teknikleri kullanılarak algoritmalar geliştirilir. Bildiğimiz kadarıyla bu tez, rekabetçi bir ortamda bozulabilir envanter kontrol problemini Pekiştirmeli Öğrenme (PÖ) algoritmaları ile çözen ilk çalışmadır. Bu tezde, rekabetçi bir ortamda bozulabilir envanter kontrol problemi, sabit ikmal ve dinamik ikmal durumlarına karşı analiz edilmiş ve her iki durum için de PÖ algoritması ile denge çözümleri elde edilmiştir. DP tabanlı denge çözümleri, çoklu aktör dünyasındaki tekniklerden biri olan Nash-Q Öğrenmesi kullanılarak uygulanan algoritmalar ile yaklaşık olarak hesaplanmaktadır. Rekabetçi bir ortamda her iki durum için de farklı parametrelere sahip deneysel bir tasarım hazırlanmaktadır. Testler sonucunda, her iki durum için geliştirilen Nash Q-Öğrenmesi algoritması, DP tabanlı algoritmanın çalışma süresinden önemli ölçüde daha kısa bir sürede DP tabanlı denge çözümlerine yakınsar. Ayrıca, Nash Q-Öğrenmesi algoritmasıyla eğitilen ajanların rekabetçi ortamda diğer ajanlara kıyasla daha yüksek bir kazanma oranına sahip olduğu gözlemlenmektedir. Öğrenme hızı ve yordamının rekabetçi avantaj sağladığı durumlar gözlenmiştir.
Özet (Çeviri)
The perishable inventory control problem in a competitive environment is the problem where multiple players compete with other players by managing their own inventory systems. The perishable inventory control problem, which requires a complex sequential decision-making problem with replenishment decisions in each period, cannot be efficiently solved with DP-based equilibrium algorithms due to algorithmic and time complexity. Therefore, algorithms are developed using approximation techniques to solve the problem in this competitive environment. To the best of our knowledge, this is the first study that solves the perishable inventory control problem in a competitive environment with Reinforcement Learning (RL) algorithms. In this thesis, the perishable inventory control problem in a competitive environment is analyzed in cases against fixed replenishment and dynamic replenishment, and equilibrium solutions are obtained for both cases with the RL algorithm. DP-based equilibrium solutions are approximated with algorithms implemented using Nash-Q Learning, one of the techniques in the Multi-agent RL (MARL) world. An experimental design with different parameters is prepared for both cases in a competitive environment. As a result of the tests, the Nash Q-Learning algorithm developed for both cases converges to DP-based equilibrium solutions in a considerably shorter time than the runtime of the DP-based algorithm. In addition, it is observed that the agents trained with the Nash Q-Learning algorithm have a higher win-rate compared to other agents in the competitive environment. Learning rate and learning policy can lead to competitive advantage for the agents.
Benzer Tezler
- İzmir'de bazı yolların kapatılarak yaya bölgeleri oluşturma da kent peyzajını geliştirme açısından yeniden planlanması üzerinde araştırmalar
Başlık çevirisi yok
BAHAR TÜRKYILMAZ
Yüksek Lisans
Türkçe
1985
Şehircilik ve Bölge PlanlamaEge ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
- Kömürdeki piritin giderilmesi ve çözünürleştirme kinetiğinin incelenmesi
Başlık çevirisi yok
YAVUZ ONGANER
- Marmara bölgesindeki kavun ve karpuz yetiştiriciliğinin bugünkü durumu, sorunları ve öneriler
The Status of melon and water melongrowing in Marmara region at present and its Problems and recommedations
MEHMET GÜLER
- Ülkemizdeki çeşitli büyüklükteki yerleşim merkezlerinde uygulanabilecek kültür yapısı planlama modeli
The Planning model of the cultural building which applicable at different size of settlement center
MUSTAFA İNCESAKAL
Yüksek Lisans
Türkçe
1986
Şehircilik ve Bölge PlanlamaGazi ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. UMUR ERKMEN
- Sosyal değişim sürecinde konut planları farklılaşması-Konya örneği
The Changes of the types of house-plans in accordance with the social changes“Konya being the Sample”
İBRAHİM BAKIR
- Fonon dispersiyon eğrilerinin simulasyonu ve hallerin yoğunluğu
Simulation of phonon dispersion curves and density of states
MUSTAFA ÖZCAN
Yüksek Lisans
Türkçe
1987
Fizik ve Fizik MühendisliğiGazi ÜniversitesiFizik Ana Bilim Dalı
DOÇ. DR. KEMAL ÇOLAKOĞLU