Optimizing service rate of a single server queue usingreinforcement learning
Pekiştirmeli öğrenmeyi kullanarak tek bir sunucu kuyruğunun hizmet hızını optimize etme
- Tez No: 910833
- Danışmanlar: DOÇ. DR. AYBEK KORUGAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Endüstri ve Endüstri Mühendisliği, Matematik, Computer Engineering and Computer Science and Control, Industrial and Industrial Engineering, Mathematics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 124
Özet
Bu tez, kuyruk kontrol problemlerinin optimizasyonunu pekiştirmeli öğrenme (RL) ve daha spesifik olarak Q-öğrenme yöntemini kullanarak araştırmaktadır. Çalışma, M/M/1/K kuyruk sistemlerinde hizmet hızı dengeleme problemini çözmeye odaklanmakta ve daha sonra M/G/1/K problemine genişletilmektedir. Simülasyon ortamı kullanılarak, Q-Öğrenme Algoritması eğitilmiş ve Markov Karar Süreci (MDP) modellerinden elde edilen optimal sonuçlarla karşılaştırılmıştır. Sonuçlar, Q-Öğrenme'nin M/M/1/K problemlerini optimuma çok yakın sonuçlar üreterek etkili bir şekilde çözebi- leceğini göstermektedir. Çalışma, Q-öğrenme algoritmalarının performansını ve yakınsa- ma hızını artırmak için farklı keşif stratejilerinin, etkinliğini incelemektedir. Bulgular, Boltzman keşif stratejisinin diğer stratejilere göre daha iyi performans gösterdiğini ve keşif ile sömürü arasında iyi bir denge sağladığını göstermektedir. Çalışma ayrıca, Q-öğrenme Algoritması'nın hiperparametre değerlerine karşı duyarlılığını vurgulayarak, optimum performansa ulaşmak için dikkatli bir seçim yapılması gerektiğini belirtmektedir. Q-öğrenmenin M/G/1/K kuyruk sistemlerine genişletilmesi, algoritmanın adapte olma yeteneğini ve bu yeteneğin sınırlarını ile duyarlı olduğu noktaları göstermektedir. Genişletme ayrıca, Q-Öğrenme algoritmasına model bilgisinin dahil edilmesinin daha iyi sonuçlar yaratmayabileceğini göstermektedir. Sonuç olarak, bu tez, özellikle Q-öğrenmenin, kuyruk kontrol problemlerinin optimizasyonu için etkili bir araç olarak potansiyelini doğrulamakta ve geleneksel yöntemlere esnek ve uyum sağlama gücü yüksek bir alternatif sunmaktadır.
Özet (Çeviri)
This thesis investigates the optimization of queueing control problems using reinforcement learning (RL), more specifically Q-learning. The study focuses on solving a service rate balancing problem on M/M/1/K queueing systems and then extends to M/G/1/K problems. By using a simulation environment, the Q-Learning Algorithm is trained and compared with optimal results derived from Markov Decision Process (MDP) models. The results indicate that Q-Learning can effectively solve the M/M/1/K problems by creating results that are very close to the optimum. The study explores the effectiveness of different exploration strategies, such as $\epsilon$-Greedy,Boltzmann, and Upper Confidence Bound (UCB) exploration, to improve performance and the convergence rate of Q-learning algorithms. Key findings indicate that Boltzmann exploration strategy perform better than the other strategies, providing a god balance between exploration and exploitation. The study also highlights the sensitivity of Q-learning Algorithm to hyperparameter values, emphasizing the need for careful tuning to achieve optimal performance. The extension of Q-learning to M/G/1/K queueing systems demonstrates the algorithm's adaptability, and the limits and sensitivities of this adaptability. The extension also depicts that embedding model knowledge to the Q-Learning algorithm may not create better results. In conclusion, this thesis validates the potential of reinforcement learning, particularly Q-learning, as an effective tool for optimizing queueing control problems, offering a flexible and adaptable alternative to traditional methods. The results encourage additional research and development of reinforcement learning methods to optimize complex systems and solve harder queueing control problems.
Benzer Tezler
- Reconfigurable intelligent surface-based novel transceiver architectures and multiple access
Başlık çevirisi yok
AYMEN KHALEEL
Doktora
İngilizce
2023
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERTUĞRUL BAŞAR
- Kord teli uygulamalarına yönelik çeliklerin üretim ve sürekli döküm proses parametrelerinin optimizasyonu
Optimization of production and continuous casting process parameters of steels for cord wire applications
İLKER AYÇİÇEK
Doktora
Türkçe
2024
Metalurji Mühendisliğiİstanbul Teknik ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NURİ SOLAK
- Kargo taşımacılığı sektöründe son adım dağıtım planlama ve rota optimizasyonu
Last mile delivery planning and route optimization in cargo transportation
SELİN BOSTAN
Yüksek Lisans
Türkçe
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
DOÇ. DR. CANER GÜNEY
- Dynamic resource allocation in manufacturing and service industries
Başlık çevirisi yok
TUBA YILMAZ
Doktora
İngilizce
2013
Endüstri ve Endüstri MühendisliğiGeorgia Institute of TechnologyPROF. DR. PINAR KESKİNOCAK
PROF. DR. ESMA GEL
- Kazık taşıma kapasitesinin statik formüller nümerik analiz ve yükleme deneyleri kullanılarak belirlenmesi üzerine bir çalışma
A case study for the calculation of pile bearing capacity with reference to static formulas, numerical analysis and pile load tests
ÖZKAN PULAT
Yüksek Lisans
Türkçe
2024
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. MUSAFFA AYŞEN LAV