Reinforcement learning based rate splitting for minimizing age of information in finite blocklength systems
Sonlu blok uzunluklu sistemlerde bilgi yaşını en aza indiren pekiştirmeli öğrenme tabanlı veri hızı bölütleme
- Tez No: 974908
- Danışmanlar: DOÇ. DR. AYŞE MELDA YÜKSEL TURGUT, DR. ÖĞR. ÜYESİ ELİF TUĞÇE CERAN ARSLAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Pekiştirmeli öğrenme, Reinforcement learning
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bilgi Yaşı (AoI), küçük durum güncelleme paketlerinin anında iletilmesini gerektiren sistemlerde veri güncelliğini değerlendirmek için kullanılan temel bir anlamsal performans metriğidir. Bu çalışma ile düşük gecikmeli uygulamaların temel bir gereksinimi olan sonlu blok uzunluğu (FBL) rejiminde çalışan çok kullanıcılı kablosuz ağlarda bilgi yaşını en aza indirme problemi incelenmiştir. Hız Bölmeli Çoklu Erişim (RSMA), girişimi yönetmek için güçlü ve esnek bir çerçeve sunsa da bilgi güncelliğini sağlamak amacıyla ön kodlama, güç tahsisi ve çizelgeleme gibi parametrelerinin ortak optimizasyonu analitik olarak yönetilemez bir karmaşıklığa sahiptir. Bu karmaşıklığın üstesinden gelmek amacıyla bir Derin Pekiştirmeli Öğrenme (DRL) yapısı önerilmiştir. AoI'ı en aza indirme problemini bir Markov Karar Süreci (MDP) olarak formüle ederek kaynak tahsisi için en iyiye yakın politikaları öğrenmek amacıyla İkiz Gecikmeli Derin Deterministik (TD3) politika gradyanı algoritmasını kullanıyoruz. Bu çalışmanın temel katkıları, Çok Kullanıcılı Çoklu Giriş Tekli Çıkış (MU-MISO) yayın kanallarında güç tahsisini ve ön kodlama vektörlerini ortaklaşa optimize eden DRL tabanlı çözümlerin geliştirilmesini içermektedir. Öncelikle Ortogonal Olmayan Çoklu Erişim (NOMA) için bir çerçeve geliştiriyor, ardından bunu, artan parametre uzayını yönetmek amacıyla hiyerarşik bir DRL mimarisi tasarladığımız daha genel ve karmaşık RSMA şemasına genişletiyoruz. Araştırmamız, önerilen yaklaşımın sağlamlığını ve uyarlanabilirliğini göstererek hem mükemmel hem de kusurlu Verici Tarafı Kanal Durum Bilgisi (CSIT) senaryolarını kapsamaktadır. Simülasyon sonuçları, DRL tabanlı yöntemimizin, kıyaslama yapılan şemalara göre bilgi güncelliğini önemli ölçüde artırdığını doğrulamaktadır.
Özet (Çeviri)
Age of Information (AoI) is a fundamental semantic performance metric used to evaluate data timeliness in systems that require instantaneous transmission of small state update packets. This study investigates the problem of minimizing age of information in multi-user wireless networks operating in the finite block length (FBL) regime, a fundamental requirement for low-latency applications. While Rate Splitting Multiple Access (RSMA) provides a powerful and flexible framework for managing interference, the joint optimization of its parameters, such as precoding, power allocation, and scheduling, to ensure information freshness is analytically unmanageable in complexity. To overcome this complexity, a Deep Reinforcement Learning (DRL) framework is proposed. We formulate the AoI minimization problem as a Markov Decision Process (MDP) and use the Twin Delay Deep Deterministic (TD3) policy gradient algorithm to learn near-optimal policies for resource allocation. The key contributions of this work include the development of DRL-based solutions that jointly optimize power allocation and precoding vectors in Multi-User Multiple Input Single Output (MU-MISO) broadcast channels. We first develop a framework for Non-Orthogonal Multiple Access (NOMA) and then extend it to the more general and complex RSMA scheme, where we design a DRL architecture to manage the increasing parameter space. Our research covers both perfect and imperfect CSIT scenarios, demonstrating the robustness and adaptability of the proposed approach. Simulation results confirm that our DRL-based method significantly improves information freshness over benchmarked schemes.
Benzer Tezler
- Madencilik ölçmelerinde kuyu cidarlarındaki deformasyonların saptanması ve bazı öneriler
Başlık çevirisi yok
ENGİN TEKİN
- Farklı kompozisyonlardaki polyesterlerin mekanik özelliklerinin -yapıya bağlı olarak- deneysel ve teorik olarak incelenmesi
Başlık çevirisi yok
BEHİYE KORKMAZ
