Reinforcement learning based rate splitting for minimizing age of information in finite blocklength systems
Sonlu blok uzunluklu sistemlerde bilgi yaşını en aza indiren pekiştirmeli öğrenme tabanlı veri hızı bölütleme
- Tez No: 974908
- Danışmanlar: DOÇ. DR. AYŞE MELDA YÜKSEL TURGUT, DR. ÖĞR. ÜYESİ ELİF TUĞÇE CERAN ARSLAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Pekiştirmeli öğrenme, Reinforcement learning
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bilgi Yaşı (AoI), küçük durum güncelleme paketlerinin anında iletilmesini gerektiren sistemlerde veri güncelliğini değerlendirmek için kullanılan temel bir anlamsal performans metriğidir. Bu çalışma ile düşük gecikmeli uygulamaların temel bir gereksinimi olan sonlu blok uzunluğu (FBL) rejiminde çalışan çok kullanıcılı kablosuz ağlarda bilgi yaşını en aza indirme problemi incelenmiştir. Hız Bölmeli Çoklu Erişim (RSMA), girişimi yönetmek için güçlü ve esnek bir çerçeve sunsa da bilgi güncelliğini sağlamak amacıyla ön kodlama, güç tahsisi ve çizelgeleme gibi parametrelerinin ortak optimizasyonu analitik olarak yönetilemez bir karmaşıklığa sahiptir. Bu karmaşıklığın üstesinden gelmek amacıyla bir Derin Pekiştirmeli Öğrenme (DRL) yapısı önerilmiştir. AoI'ı en aza indirme problemini bir Markov Karar Süreci (MDP) olarak formüle ederek kaynak tahsisi için en iyiye yakın politikaları öğrenmek amacıyla İkiz Gecikmeli Derin Deterministik (TD3) politika gradyanı algoritmasını kullanıyoruz. Bu çalışmanın temel katkıları, Çok Kullanıcılı Çoklu Giriş Tekli Çıkış (MU-MISO) yayın kanallarında güç tahsisini ve ön kodlama vektörlerini ortaklaşa optimize eden DRL tabanlı çözümlerin geliştirilmesini içermektedir. Öncelikle Ortogonal Olmayan Çoklu Erişim (NOMA) için bir çerçeve geliştiriyor, ardından bunu, artan parametre uzayını yönetmek amacıyla hiyerarşik bir DRL mimarisi tasarladığımız daha genel ve karmaşık RSMA şemasına genişletiyoruz. Araştırmamız, önerilen yaklaşımın sağlamlığını ve uyarlanabilirliğini göstererek hem mükemmel hem de kusurlu Verici Tarafı Kanal Durum Bilgisi (CSIT) senaryolarını kapsamaktadır. Simülasyon sonuçları, DRL tabanlı yöntemimizin, kıyaslama yapılan şemalara göre bilgi güncelliğini önemli ölçüde artırdığını doğrulamaktadır.
Özet (Çeviri)
Age of Information (AoI) is a fundamental semantic performance metric used to evaluate data timeliness in systems that require instantaneous transmission of small state update packets. This study investigates the problem of minimizing age of information in multi-user wireless networks operating in the finite block length (FBL) regime, a fundamental requirement for low-latency applications. While Rate Splitting Multiple Access (RSMA) provides a powerful and flexible framework for managing interference, the joint optimization of its parameters, such as precoding, power allocation, and scheduling, to ensure information freshness is analytically unmanageable in complexity. To overcome this complexity, a Deep Reinforcement Learning (DRL) framework is proposed. We formulate the AoI minimization problem as a Markov Decision Process (MDP) and use the Twin Delay Deep Deterministic (TD3) policy gradient algorithm to learn near-optimal policies for resource allocation. The key contributions of this work include the development of DRL-based solutions that jointly optimize power allocation and precoding vectors in Multi-User Multiple Input Single Output (MU-MISO) broadcast channels. We first develop a framework for Non-Orthogonal Multiple Access (NOMA) and then extend it to the more general and complex RSMA scheme, where we design a DRL architecture to manage the increasing parameter space. Our research covers both perfect and imperfect CSIT scenarios, demonstrating the robustness and adaptability of the proposed approach. Simulation results confirm that our DRL-based method significantly improves information freshness over benchmarked schemes.
Benzer Tezler
- Rate splitting for interference channels with deep reinforcement learning
Derin öğrenme ile girişim kanalları için hız bölümü
OSMAN NURİ IRKIÇATAL
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYŞE MELDA YÜKSEL TURGUT
DR. ELİF TUĞÇE CERAN ARSLAN
- Pekiştirmeli öğrenme yöntemleri ile iha baz istasyonu için veri iletim hızı tabanlı optimal güzergah belirlenmesi
Data transmission rate based optimal trajectory determination for uav base station using reinforcement learning methods
MELİH DOĞANAY SAZAK
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiTobb Ekonomi ve Teknoloji ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALİ MURAT DEMİRTAŞ
- Reinforcement learning based handover mechanism for next generation mobile communication systems
Yeni nesil mobil haberleşme sistemleri için pekiştirmeli öğrenme ile aktarım mekanizması
ÇAĞLAR FIRAT
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNA TUĞCU
- Reinforcement learning based active queue management with probabilistic actions
Olasılıksal eylemler kullanan pekiştirmeli öğrenme tabanlı aktif kuyruk yönetimi
CANER ORKUN GÖLBAŞI
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜSEYİN BİRKAN YILMAZ
- Evolutionary reinforcement learning based autonomous maneuver decision in one-to-one short-range air combat
Bire bir kısa menzilli hava muharebesinde evrimsel pekiştirmeli öğrenme tabanlı otonom manevra karar sistemi
YASİN BAYKAL
Yüksek Lisans
İngilizce
2023
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BARIŞ BAŞPINAR