Reinforcement learning based adaptive blocklength and MCS selection for minimization of age violation probability
Bilgi yaşı ihlali olasılığının azaltılması için pekiştirmeli öğrenmeye dayalı adaptif blok uzunluğu ve MCS seçimi
- Tez No: 763272
- Danışmanlar: DR. ÖĞR. ÜYESİ ELİF TUĞÇE CERAN ARSLAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 92
Özet
Bilginin tazeliğinin bir ölçüsü olan Bilgi Yaşı (BY), küçük boyuttaki durum güncelleme paketlerinin eskimeden bir gözlemciye iletilmesini gerektiren sistemlerde önemli bir ölçüt haline gelmiştir. Bu çalışmadaki amaç, anlık bilgi yaşının belirli bir eşik değerini aşması olasılığı olarak tanımlanan bilgi yaşı ihlali olasılığının (AVP) en aza indirilmesidir. AVP, kitlesel makine tipi haberleşme (mMTC) ve ultra güvenilir ve düşük gecikmeli iletişim (URLLC) gibi 5G ve ötesi sistemlerinde anahtar performans göstergelerinden biri olarak görülmektedir. Bu tez çalışmasında, kısa paketlerin adaptif iletimini konu alan iki ana problem üzerine odaklanılmıştır. İlk olarak, kısa paket iletimlerinde kodlama için ideal blok uzunluğunu seçmek amacıyla iki yöntem önerilmiştir. Sonlu blok uzunluğu teorisi yaklaşımlarının yanı sıra dinamik programlama (DP) ve pekiştirmeli öğrenme (RL) metotlarından yararlanılmıştır. Durum toplamalı değer iterasyonu ve Q-öğrenme algoritmaları eğitilerek sistemin anlık durumuna göre optimal blok uzunluğunu gösteren adaptif politikalar elde edilmiştir. İkinci problemde bilgi yaşı ihlali olasılığını en aza indirecek modülasyon ve kodlama şemasının (MCS) seçimine odaklanılmıştır. Derin pekiştirmeli öğrenme (DRL) ortamı kurulmuş ve derin Q ağları (DQN) kullanılarak 5G standartlarında tanımlı MCS'ler arasından seçim yapan bir politika elde edilmiştir. Önerilen çözümlerin performansı referans politikalar ve en gelişmiş algoritmalar ile karşılaştırılmış ve farklı senaryolar için elde edilen sonuçlar sunulmuştur.
Özet (Çeviri)
As a measure of data freshness, Age of Information (AoI) is an important semantic performance metric in systems where small status update packets need to be delivered to a monitor in a timely manner. This study aims to minimize the age violation probability (AVP), which is defined as the probability that instantaneous age exceeds a certain threshold. The AVP can be considered as one of the key performance indicators in emerging 5G and beyond technologies such as massive machine-to-machine communications (mMTC) and ultra-reliable low latency communications (URLLC). This thesis focuses on two main problems regarding the adaptive transmission of short packets in time-sensitive systems. Firstly, we propose two methods for choosing the optimal blocklength for coding in short packet transmissions. We utilize finite blocklength theory approximations along with dynamic programming (DP) and reinforcement learning (RL) methods. Adopting state-aggregated value iteration and Q-learning algorithms, we present adaptive policies that dynamically select the optimal blocklength according to the state of the system. Our second problem focuses on choosing the appropriate modulation and coding scheme (MCS) for minimization of age violation probability. We construct a deep reinforcement learning (DRL) framework and employ deep Q networks (DQN) to exploit a policy for the dynamic selection of MCS among available MCSs defined in 5G standards. The performances of the proposed approaches are demonstrated in different scenarios and compared with the performances of benchmark policies and state-of-the-art algorithms.
Benzer Tezler
- Age of information based flow control in communication networks
Haberleşme ağlarında bilgi yaşına dayalı akış kontrolü
SAJJAD BAGHAEE
Doktora
İngilizce
2023
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF YUSAL
- 5G ağlarında RAN dilimleme için pekiştirmeli öğrenme tabanlı uyarlanabilir erişim sınıfı engellemesi
Reinforcement learning based adaptive access class barring for RAN slicing in 5G networks
ALİ TURAN
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EBRU SEZER
DOÇ. DR. MEHMET KÖSEOĞLU
- Yılan robotun öğrenme tabanlı adaptif hareket kontrolü
Learning-based adaptive motion control of a snake robot
YEŞİM AYSEL BAYSAL
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiKaradeniz Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL HAKKI ALTAŞ
- Pekiştirmeli öğrenme yöntemi ile optimal dc motor hız kontrolcüsünün tasarlanması
Optimal DC motor speed controller design with reinforcement learning algorithm
BEKİR MURAT AYDIN
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Openflow ağları üzerinde çalışan çıkarsamaya dayalı uçtan uca çokluortam akışlandırma uygulaması
An inference based end-to-end video streaming application running over openflow networks
TUBA UZAKGİDER
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
YRD. DOÇ. DR. MÜGE SAYIT