Geri Dön

Optimizing service rate of a single server queue usingreinforcement learning

Pekiştirmeli öğrenmeyi kullanarak tek bir sunucu kuyruğunun hizmet hızını optimize etme

  1. Tez No: 910833
  2. Yazar: FURKAN CAN ERCAN
  3. Danışmanlar: DOÇ. DR. AYBEK KORUGAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Endüstri ve Endüstri Mühendisliği, Matematik, Computer Engineering and Computer Science and Control, Industrial and Industrial Engineering, Mathematics
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 124

Özet

Bu tez, kuyruk kontrol problemlerinin optimizasyonunu pekiştirmeli öğrenme (RL) ve daha spesifik olarak Q-öğrenme yöntemini kullanarak araştırmaktadır. Çalışma, M/M/1/K kuyruk sistemlerinde hizmet hızı dengeleme problemini çözmeye odaklanmakta ve daha sonra M/G/1/K problemine genişletilmektedir. Simülasyon ortamı kullanılarak, Q-Öğrenme Algoritması eğitilmiş ve Markov Karar Süreci (MDP) modellerinden elde edilen optimal sonuçlarla karşılaştırılmıştır. Sonuçlar, Q-Öğrenme'nin M/M/1/K problemlerini optimuma çok yakın sonuçlar üreterek etkili bir şekilde çözebi- leceğini göstermektedir. Çalışma, Q-öğrenme algoritmalarının performansını ve yakınsa- ma hızını artırmak için farklı keşif stratejilerinin, etkinliğini incelemektedir. Bulgular, Boltzman keşif stratejisinin diğer stratejilere göre daha iyi performans gösterdiğini ve keşif ile sömürü arasında iyi bir denge sağladığını göstermektedir. Çalışma ayrıca, Q-öğrenme Algoritması'nın hiperparametre değerlerine karşı duyarlılığını vurgulayarak, optimum performansa ulaşmak için dikkatli bir seçim yapılması gerektiğini belirtmektedir. Q-öğrenmenin M/G/1/K kuyruk sistemlerine genişletilmesi, algoritmanın adapte olma yeteneğini ve bu yeteneğin sınırlarını ile duyarlı olduğu noktaları göstermektedir. Genişletme ayrıca, Q-Öğrenme algoritmasına model bilgisinin dahil edilmesinin daha iyi sonuçlar yaratmayabileceğini göstermektedir. Sonuç olarak, bu tez, özellikle Q-öğrenmenin, kuyruk kontrol problemlerinin optimizasyonu için etkili bir araç olarak potansiyelini doğrulamakta ve geleneksel yöntemlere esnek ve uyum sağlama gücü yüksek bir alternatif sunmaktadır.

Özet (Çeviri)

This thesis investigates the optimization of queueing control problems using reinforcement learning (RL), more specifically Q-learning. The study focuses on solving a service rate balancing problem on M/M/1/K queueing systems and then extends to M/G/1/K problems. By using a simulation environment, the Q-Learning Algorithm is trained and compared with optimal results derived from Markov Decision Process (MDP) models. The results indicate that Q-Learning can effectively solve the M/M/1/K problems by creating results that are very close to the optimum. The study explores the effectiveness of different exploration strategies, such as $\epsilon$-Greedy,Boltzmann, and Upper Confidence Bound (UCB) exploration, to improve performance and the convergence rate of Q-learning algorithms. Key findings indicate that Boltzmann exploration strategy perform better than the other strategies, providing a god balance between exploration and exploitation. The study also highlights the sensitivity of Q-learning Algorithm to hyperparameter values, emphasizing the need for careful tuning to achieve optimal performance. The extension of Q-learning to M/G/1/K queueing systems demonstrates the algorithm's adaptability, and the limits and sensitivities of this adaptability. The extension also depicts that embedding model knowledge to the Q-Learning algorithm may not create better results. In conclusion, this thesis validates the potential of reinforcement learning, particularly Q-learning, as an effective tool for optimizing queueing control problems, offering a flexible and adaptable alternative to traditional methods. The results encourage additional research and development of reinforcement learning methods to optimize complex systems and solve harder queueing control problems.

Benzer Tezler

  1. Reconfigurable intelligent surface-based novel transceiver architectures and multiple access

    Başlık çevirisi yok

    AYMEN KHALEEL

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiKoç Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ERTUĞRUL BAŞAR

  2. Kord teli uygulamalarına yönelik çeliklerin üretim ve sürekli döküm proses parametrelerinin optimizasyonu

    Optimization of production and continuous casting process parameters of steels for cord wire applications

    İLKER AYÇİÇEK

    Doktora

    Türkçe

    Türkçe

    2024

    Metalurji Mühendisliğiİstanbul Teknik Üniversitesi

    Metalurji ve Malzeme Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NURİ SOLAK

  3. Kargo taşımacılığı sektöründe son adım dağıtım planlama ve rota optimizasyonu

    Last mile delivery planning and route optimization in cargo transportation

    SELİN BOSTAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    DOÇ. DR. CANER GÜNEY

  4. Dynamic resource allocation in manufacturing and service industries

    Başlık çevirisi yok

    TUBA YILMAZ

    Doktora

    İngilizce

    İngilizce

    2013

    Endüstri ve Endüstri MühendisliğiGeorgia Institute of Technology

    PROF. DR. PINAR KESKİNOCAK

    PROF. DR. ESMA GEL

  5. Kazık taşıma kapasitesinin statik formüller nümerik analiz ve yükleme deneyleri kullanılarak belirlenmesi üzerine bir çalışma

    A case study for the calculation of pile bearing capacity with reference to static formulas, numerical analysis and pile load tests

    ÖZKAN PULAT

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSAFFA AYŞEN LAV