Reinforcement learning based active queue management with probabilistic actions
Olasılıksal eylemler kullanan pekiştirmeli öğrenme tabanlı aktif kuyruk yönetimi
- Tez No: 966297
- Danışmanlar: DR. ÖĞR. ÜYESİ HÜSEYİN BİRKAN YILMAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnternet trafiği yoğunluğunun artmasıyla birlikte, yönlendiricilerdeki kuyruk yönetimi sorunları daha da önemli hale gelmiştir. Klasik Aktif Kuyruk Yönetimi (AQM) algoritmaları, sabit eşik değerleri ve parametre ayarlama gereksinimleri nedeniyle değişken internet trafiği koşullarına uyum sağlamakta yetersiz kalmaktadır. Bu tezde, AQM algoritmalarının performansını iyileştirmek için Sürekli Uyarlamalı Öğrenme Aktif Kuyruk Yönetimi (CoAL-AQM) adlı Q-öğrenme tabanlı bir AQM algoritması geliştirilmiştir. CoAL-AQM, ağ durumunu analiz ederek kararlarını sadece kuyruk doluluğuna göre değil, gelen paketin protokol türüne ve akışların paket bırakma oranına göre de verir. CoAL-AQM, paketler için geçme, işaretleme ve bırakma kararları verirken 0,0 ile 1,0 arasında değişen eylem olasılıklarına göre etiketlenen olasılıksal eylemleri kullanır. Ayrıca CoAL-AQM, belirli bir süre eğitilip daha sonra devreye alınmak yerine, sürekli öğrenme yaklaşımıyla değişen trafik koşullarına daha iyi uyum sağlar. OMNeT++ simülasyon ortamında deneysel çalışmalar yürütülmüş ve CoAL-AQM'nin klasik algoritmalara göre daha iyi performans gösterdiği görülmüştür. CoAL-AQM, değişen yoğunluklardaki trafik senaryolarında performans üstünlüğünü korumuştur. Bu tez çalışması, kuyruk yönetimi sorunlarına farklı durum, eylem ve ödül mekanizmalarıyla Güçlendirme Öğrenmesi tabanlı AQM yaklaşımlarıyla daha iyi kuyruk yönetimi yaklaşımlarının sağlanabileceğini göstermektedir. CoAL-AQM, parametre ayarlaması gerektirmeden farklı koşullara uyum sağlayabilen ve gecikme, verim ve paket kaybı oranını dengeleyebilen bir AQM çözümü sunmaktadır.
Özet (Çeviri)
With the increasing internet traffic density, queue management problems in routers have become more important. Classical Active Queue Management (AQM) algorithms are inadequate to adapt to variable internet traffic conditions due to fixed threshold values and parameter adjustment requirements. In this thesis, a Q-learning based AQM algorithm named Continuous Adaptive Learning Active Queue Management (CoAL-AQM) is developed to improve the performance of AQM algorithms. CoAL-AQM analyzes the network status and makes decisions not only according to the queue occupancy but also according to the protocol type of the incoming packet and the packet drop rate of the flows. CoAL-AQM uses probabilistic actions labeled according to action probabilities ranging from 0.0 to 1.0 when making pass, mark, and drop decisions for packets. In addition, CoAL-AQM adapts better to changing traffic conditions with its continuous learning approach instead of being trained for a certain period of time and then deployed. Experimental studies are carried out in the OMNeT++ simulation environment, and CoAL-AQM showed better performance than classical algorithms. CoAL-AQM maintained its performance superiority in traffic scenarios with varying densities. This thesis study shows that better queue management approaches can be provided with Reinforcement Learning based AQM approaches with different state, action, and reward mechanisms to queue management problems. CoAL-AQM offers an AQM solution that can adapt itself to different conditions, without the need for parameter tuning, and can balance delay, throughput, and packet loss ratio.
Benzer Tezler
- Rasgele erken algılama bilgisayar ağları tıkanıklık kontrolü algoritmasının başarımının sezgisel yöntemlerle iyileştirilmesi
Improving the performance of random early detection algorithm for computer network congestion control using heuristic methods
MAJID HAMID ALI ALI
- Şarj istasyonlarında kullanılan çift aktif köprülü dönüştürücüler için pekiştirmeli öğrenmeye dayalı verimlilik optimizasyonu
Reinforcement learning-based efficiency optimization for dual active bridge converters in charging stations
ELİF SELİN KARAAĞAÇLI
Doktora
Türkçe
2025
Karadeniz Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Görüntü verilerinin etiketlenmesi üzerine meta öğrenme tabanlı dinamik aktif öğrenme yaklaşımı
Meta learning based dynamic active learning approach on labeling image data
MAHMUT SAĞLIYAN
- Reinforcement learning-based multi-objective analog/RF circuit optimization
Pekiştirmeli öğrenme tabanlı çok amaçlı analog/RF devre optimizasyonu
HAKAN TAŞKIRAN
Yüksek Lisans
İngilizce
2026
Gebze Teknik ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Multi-objective optimization of regenerative active suspension systems using data-driven reinforcement learning
Veri tabanlı pekiştirmeli öğrenme ile rejeneratif aktif süspansiyon sistemlerinin çok amaçlı optimizasyonu
AHMED BEYATLI
Yüksek Lisans
İngilizce
2026
İstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
Yükleniyor...