Inventory planning of perishable items using reinforcement learning
Pekiştirmeli öğrenme ile bozulabilir ürünlerin envanter planlaması
- Tez No: 881087
- Danışmanlar: PROF. DR. TANER BİLGİÇ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 72
Özet
Çeşitli sektörlerde, özellikle market, ilaç, tarım ve kimya gibi endüstrilerde, çabuk bozulan ürünlerin envanterinin etkili bir şekilde yönetilmesi hayati öneme sahiptir. Bu ürünlerin sınırlı raf ömrü ve değişken talebi, maliyetlerin düşürülmesini zorlaştırmaktadır. Bu çalışmada, bu karmaşık sorunu ele almak için özellikle Q-öğrenme ve SARSA gibi pekiştirmeli öğrenme yöntemlerinin potansiyeli incelenmiştir. Araştırma, geriye dönük dinamik programlama ile temel bir çabuk bozulan envanter modeli üzerinde başlatılmıştır. Bu model, belirli bir talep altında 10 dönem ve 3 yaş sınıfını kapsamaktadır. Daha sonra, bu çerçeve hem durağan hem de durağan olmayan ve öngörülemeyen talep modellerini ele alacak şekilde genişletilmiş ve her biri için en uygun değer fonksiyonları oluşturulmuştur. Problemin durum uzayı büyüdükçe geleneksel yaklaşımların artan karmaşıklıkla başa çıkma konusunda zorlandığı gözlemlenmiş ve bu nedenle pekiştirmeli öğrenmeye başvurulmuştur. Çalışmada, geçiş olasılıkları önceden tanımlandığında Q-değer yaklaşımına da giriş yapılmış ve sonuçları geleneksel dinamik programlama ile karşılaştırılmıştır. Ayrıca Q-öğrenme ve SARSA'nın ne kadar optimal değerlere yaklaştığı değerlendirilmiştir. Sorunun karmaşıklığı arttıkça, özellikle İleri Talep Bilgisi gibi gelişmiş talep senaryoları ve üçten fazla yaş sınıfı ile, geleneksel yöntemlerin yetersiz kaldığı görülmüştür. Buna karşın, pekiştirmeli öğrenme, özellikle karmaşık envanter problemlerine sonuç üreterek etkili olmuştur. Bulgular, pekiştirmeli öğrenme yöntemlerinin, basit senaryolarda dinamik programlama ile elde edilen yaklaşık en iyi sonuçları tahmin edebileceğini göstermektedir. Daha da önemlisi, sorunun karmaşıklığı arttıkça, pekiştirmeli öğrenmenin çözüm sunmaya devam ettiğini gözlemlenmiştir. Bu, önerilen yöntemlerin daha karmaşık envanter problemlerini çözmedeki potansiyelini göstermektedir.
Özet (Çeviri)
Managing perishable inventory effectively is vital in diverse sectors like grocery, pharmaceuticals, composite materials, agriculture, blood. The challenge lies in reducing costs while handling items with limited shelf lives and changing demand. This study delves into the potential of computational techniques, notably the reinforcement learning methods Q-learning and SARSA, to tackle this intricate issue. We turned to reinforcement learning because traditional approaches struggle with increased complexity as the problem grows. We began our exploration with backward dynamic programming for a basic perishable inventory model. This model covered 10 periods and 3 age classes under a deterministic demand. We then expanded this framework to address more unpredictable demand patterns, both stationary and non-stationary, crafting optimal value functions for each. Our study also ventured into the Q-value approach, where transition probabilities were predefined, comparing the results to traditional dynamic programming. We further evaluated Q-learning and SARSA to see how close they converge to optimal. As the problem's complexity rose, especially with advanced demand scenarios like Advance Demand Information and more age classes beyond three, traditional methods fell short. In contrast, reinforcement learning proved nimble, especially in tackling more intricate inventory challenges. Our findings underline that reinforcement learning methods can approximate the near-optimal results achieved by dynamic programming in simpler scenarios. More remarkably, as the problem's intricacy grew, reinforcement learning continued to offer solutions, suggesting its promise in addressing even more complex inventory challenges.
Benzer Tezler
- Kısa ömürlü ürünlerin tedarik zincirinin modellenmesi ve yeni stok politikalarının geliştirilmesi
Modelling the supply chain of perishable products and developing new inventory policies
AHMET KARA
Doktora
Türkçe
2018
Endüstri ve Endüstri MühendisliğiErciyes ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM DOĞAN
- Value of supplier flexibility and extension opportunity for perishable items in an EOQ environment
Ekonomik sipariş miktarı ortamında raf ömürlü malzemeler için tedarikçi esnekliğinin ve başlangıç raf ömrü bilgisinin değeri
SAİME CEREN ÜNSAL
Yüksek Lisans
İngilizce
2019
Endüstri ve Endüstri MühendisliğiOrta Doğu Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. İSMAİL SERDAR BAKAL
DOÇ. ZEYNEP PELİN BAYINDIR
- A data-driven approach to reduce food waste for a consumer goods company
Bir tüketici malları şirketi için gıda israfını azaltmaya yönelik veri odaklı bir yaklaşım
AFŞİN SANCAKTAROĞLU
Yüksek Lisans
İngilizce
2021
İstatistikSabancı Üniversitesiİş Analitiği Ana Bilim Dalı
DR. BURAK GÖKGÜR
DOÇ. DR. AYŞE KOCABIYIKOĞLU
- Bozulabilir ürünler için birleşik üretim ve dağıtım planlama
Integrated production and distribution planning for perishable products
ELİF BİLGİN
- Veri madenciliği yaklaşımını kullanarak koordineli envanter yönetiminin analizi ve uygulaması
Analysis and application of coordinated inventory replenishment using data mining
OLCAYTU TOKER
Yüksek Lisans
Türkçe
2019
Endüstri ve Endüstri MühendisliğiMilli Savunma ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SABAHATTİN KEREM AYTULUN