Reinforcement learning based active queue management with probabilistic actions
Olasılıksal eylemler kullanan pekiştirmeli öğrenme tabanlı aktif kuyruk yönetimi
- Tez No: 966297
- Danışmanlar: DR. ÖĞR. ÜYESİ HÜSEYİN BİRKAN YILMAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 91
Özet
İnternet trafiği yoğunluğunun artmasıyla birlikte, yönlendiricilerdeki kuyruk yönetimi sorunları daha da önemli hale gelmiştir. Klasik Aktif Kuyruk Yönetimi (AQM) algoritmaları, sabit eşik değerleri ve parametre ayarlama gereksinimleri nedeniyle değişken internet trafiği koşullarına uyum sağlamakta yetersiz kalmaktadır. Bu tezde, AQM algoritmalarının performansını iyileştirmek için Sürekli Uyarlamalı Öğrenme Aktif Kuyruk Yönetimi (CoAL-AQM) adlı Q-öğrenme tabanlı bir AQM algoritması geliştirilmiştir. CoAL-AQM, ağ durumunu analiz ederek kararlarını sadece kuyruk doluluğuna göre değil, gelen paketin protokol türüne ve akışların paket bırakma oranına göre de verir. CoAL-AQM, paketler için geçme, işaretleme ve bırakma kararları verirken 0,0 ile 1,0 arasında değişen eylem olasılıklarına göre etiketlenen olasılıksal eylemleri kullanır. Ayrıca CoAL-AQM, belirli bir süre eğitilip daha sonra devreye alınmak yerine, sürekli öğrenme yaklaşımıyla değişen trafik koşullarına daha iyi uyum sağlar. OMNeT++ simülasyon ortamında deneysel çalışmalar yürütülmüş ve CoAL-AQM'nin klasik algoritmalara göre daha iyi performans gösterdiği görülmüştür. CoAL-AQM, değişen yoğunluklardaki trafik senaryolarında performans üstünlüğünü korumuştur. Bu tez çalışması, kuyruk yönetimi sorunlarına farklı durum, eylem ve ödül mekanizmalarıyla Güçlendirme Öğrenmesi tabanlı AQM yaklaşımlarıyla daha iyi kuyruk yönetimi yaklaşımlarının sağlanabileceğini göstermektedir. CoAL-AQM, parametre ayarlaması gerektirmeden farklı koşullara uyum sağlayabilen ve gecikme, verim ve paket kaybı oranını dengeleyebilen bir AQM çözümü sunmaktadır.
Özet (Çeviri)
With the increasing internet traffic density, queue management problems in routers have become more important. Classical Active Queue Management (AQM) algorithms are inadequate to adapt to variable internet traffic conditions due to fixed threshold values and parameter adjustment requirements. In this thesis, a Q-learning based AQM algorithm named Continuous Adaptive Learning Active Queue Management (CoAL-AQM) is developed to improve the performance of AQM algorithms. CoAL-AQM analyzes the network status and makes decisions not only according to the queue occupancy but also according to the protocol type of the incoming packet and the packet drop rate of the flows. CoAL-AQM uses probabilistic actions labeled according to action probabilities ranging from 0.0 to 1.0 when making pass, mark, and drop decisions for packets. In addition, CoAL-AQM adapts better to changing traffic conditions with its continuous learning approach instead of being trained for a certain period of time and then deployed. Experimental studies are carried out in the OMNeT++ simulation environment, and CoAL-AQM showed better performance than classical algorithms. CoAL-AQM maintained its performance superiority in traffic scenarios with varying densities. This thesis study shows that better queue management approaches can be provided with Reinforcement Learning based AQM approaches with different state, action, and reward mechanisms to queue management problems. CoAL-AQM offers an AQM solution that can adapt itself to different conditions, without the need for parameter tuning, and can balance delay, throughput, and packet loss ratio.
Benzer Tezler
- Rasgele erken algılama bilgisayar ağları tıkanıklık kontrolü algoritmasının başarımının sezgisel yöntemlerle iyileştirilmesi
Improving the performance of random early detection algorithm for computer network congestion control using heuristic methods
MAJID HAMID ALI ALI
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERKAN ÖZTÜRK
- Derin pekiştirmeli öğrenmeye dayalı otonom sürüş için açıklanabilir yapay zeka
Explainable artificial intelligence (xai) for deep reinforcement learning based autonomous driving
MUHSİN KOMPAS
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İBRAHİM KÖK
- Optimization of traffic signals on roundabouts via reinforcement learning
Pekiştirmeli öğrenme ile dönel kavşaklarda trafik ışıklarının optimizasyonu
ONUR AĞBULUT
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYaşar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. KORHAN KARABULUT
- Kuantum hesaplama modellerinin derin öğrenme kullanılarak otomatik üretimi
Automated generation of quantum computing models using deep learning
NİYAZİ FURKAN BAR
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET KARAKÖSE
- An autonomous area coverage method for endoscopic capsule robots
Endoskopik kapsül robotlarda otonom alantarama
İBRAHİM ÖMER ÇELİK
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SADIK FİKRET GÜRGEN
DR. MEHMET TURAN