Geri Dön

Resource allocation mechanisms for end-to-end delay optimization of 5G URLLC services

5G URLLC hizmetlerinin uçtan uca gecikme optimizasyonu için kaynak aktarım mekanizmaları

PDF İndir

  1. Tez No: 895551
  2. Yazar: HASAN ANIL AKYILDIZ
  3. Danışmanlar: PROF. DR. HAKAN ALİ ÇIRPAN, DR. İBRAHİM HÖKELEK
  4. Tez Türü: Doktora
  5. Konular: Mühendislik Bilimleri, Engineering Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 96

Özet

5G ve ötesi ağlar, geleneksel mobil iletişim hizmetleri ve uygulamalarının yanı sıra Endüstri 4.0, otomatik sürüş, sağlık hizmetleri, Nesnelerin İnterneti (IoT) ve Makine-Makine İletişimi gibi çeşitli dikey hizmetlerin ve alanların zorlu gereksinimlerini karşılamayı amaçlamaktadır. Bu vizyonu 5G Yeni Radyo (NR) tasarımı için uyarlamak amacıyla Üçüncü Nesil Ortaklık Projesi (3GPP) tarafından belirlenen üç farklı hizmet kategorisi bulunmaktadır: geliştirilmiş mobil genişbant (eMBB), kapsamlı makine tipi iletişimleri (mMTC) ve ultra-güvenilir düşük gecikmeli iletişimler (URLLC). Her hizmetin kendi özel Hizmet Kalitesi (QoS) gereksinimleri vardır; örneğin, eMBB hizmetleri yüksek spektral verimlilik ve yüksek veri iletim hızlarını hedeflerken, URLLC hizmetleri sıkı gecikme ve güvenilirlik gereksinimleri olan kritik uygulamalar için optimize edilmiştir. Düşük gecikme ve güvenilirlik gereksinimleri nedeniyle daha yüksek öncelikli URLLC hizmetlerine kaynak tahsisi yapmak, eMBB hizmetlerinin verimlilik performansını tehlikeye atmadan dikkatlice yapılmalıdır. Heterojen hizmetler, 5G/6G ağının uygulama hizmet kalitesi (QoS) gereksinimlerini karşılamasını daha zor hale getirmektedir. Ağ Dilimleme (NS) ve Çok Erişimli Uç Bilişim (MEC), ağ kaynaklarının tahsisini optimize etmek ve uygulama özel gereksinimlerini garanti etmek için kullanılabilecek umut vadeden etkinleştirici teknolojiler olarak ortaya çıkmıştır. Ağ Dilimleme (NS), ağlardaki kaynakları verimli bir şekilde yönetmek ve heterojen hizmetlerin gereksinimlerini karşılamak için umut vadeden bir teknoloji olarak görülmüştür. NS'nin konsepti, temel ortak fiziksel altyapı üzerinde uçtan uca mantıksal ağların oluşturulmasına izin vermektir. Bu, her dilim için ihtiyaçlarına göre özelleştirilmiş kaynak tahsisi sağlar. NS genellikle erişim, taşıma ve çekirdek gibi birden çok ağ segmentini içeren, kaynakların sanallaştırılabildiği ve birden çok hizmete tahsis edilebildiği bir şekilde gerçekleşir (Şekil~\ref{fig_e2e_NS}'de gösterildiği gibi). NS konsepti ile ağ kaynaklarının yönetimi daha kolay hale gelir ve eMBB ve URLLC gibi farklı türdeki hizmetlere özel bir hizmet sağlanabilir. Başka bir teknoloji olan mobil uç bilişimi veya daha iyi bilinen adıyla çoklu erişim uç bilişimi (MEC), mobil ağlar için temel bir yapı taşı olarak kabul edilmektedir. MEC, kullanıcılar adına kablosuz bağlantılar aracılığıyla devredilen hesaplama görevlerinin yürütülmesini sağlar. Ancak, kablosuz ve hesaplama kaynaklarındaki kısıtlı kaynaklar nedeniyle, MEC sunucusuna yönlendirilen görevlerin artması, hizmetlerin ihtiyaçlarını karşılamak için kaynakları optimal bir şekilde yönetme konusunda bir zorluk oluşturur. RAN dilimleme, frekans ve güç gibi radyo kaynaklarının sınırlı olması, hizmetlerin katı gereksinimleri ve RAN ortamının dinamikleri nedeniyle zorlu bir süreç olmasına rağmen, uçtan uca ağ diliminin temel bir parçasıdır. Bu nedenle, RAN dilimlemenin etkili yönetimi, iletişim ve hesaplama kaynaklarını optimal bir şekilde yönetme yeteneğine dayanmaktadir. Bu, kaynakların tamamen kullanılabilmesi ve hizmetlerin gereksinimlerini karşılayabilmesi için gereklidir. Makine öğrenimi (ML) ve yapay zeka (AI) temelli yenilikçi ve akıllı kaynak tahsis çözümleri, zamanla değişen ağ koşullarına göre gerçek zamanlı adapte olması yoluyla birden fazla hizmetin performansını ortak bir şekilde optimize etmek için kilit etkenler olacaktır. Pekistirmeli Ogrenme (RL), bir makine öğrenimi paradigmasıdır. Bir RL ajanı (agent), bir ortamla etkileşime girerek karar dizileri oluşturmayı öğrenir. RL'nin amacı, ajanın zaman içinde kümülatif bir ödül fonksiyonunu maksimize eden bir politika öğrenmektir. RL senaryosunun genel bir temsili Şekil \ref{fig_RL_chart}'de gösterilmiştir. RL'nin ana unsurları şunlardır: Ajan (Agent): Ajan, ortamla etkileşimde bulunan öğrenen veya karar veren kişidir. Aksiyon alır, ortamdan geri bildirim alır ve karar verme politikasını geliştirmeyi öğrenir. Durum (State): Bir durum, bir ortamın belirli bir zamandaki temsilidir. Ajanın kararlarını vermesi için gereken tüm ilgili bilgiyi içerir. Aksiyon (Action): Bir aksiyon, ajanın ortamı etkilemek için verdiği bir karardır. Ajanın alabileceği olası aksiyonların kümesine aksiyon uzayı denir. Ortam (Environment): Ortam, ajanın etkileşimde bulunduğu ve ajana geri bildirim sağlayan harici sistemdir. Ajan, ortamla etkileşime geçer (örneğin bir aksiyon alır) ve bir eylem için durumları ve ödülleri gözlemler. Bu süreç, ajan kümülatif ödülü maksimize eden bir eylem seçim politikasına ulaşana kadar tekrarlanır. Ödül (Reward): Ortam tarafından, ajanın belirli bir durumda bir eylem gerçekleştirdikten sonra sağlanan bir değerdir. Bu, ajanın eyleminin ne kadar iyi veya kötü olduğunu gösteren bir geri bildirim olarak hizmet eder. Politika (Policy): Politika, ajanın mevcut duruma dayalı olarak aksiyonlarını belirlemek için kullandığı bir strateji veya kurallar kümesidir. Durumları aksiyonlara eşler ve ajanın davranışını tanımlar. RL'nin hedefi genellikle zaman içinde beklenen kümülatif ödülü maksimize eden bir optimal politika öğrenmektir. Bu tezde, Radyo Erişim Ağı'ndaki iletişim ve hesaplama kaynaklarının tahsis zorluğunu ele almak için derin Q-öğrenme (DQL) yöntemini seçiyoruz. DQL, Q fonksiyonunu yakınsamak için derin sinir ağı (DNN) kullanır ve bu Q-öğrenme yaklaşımının uyarlaması genellikle derin Q-ağı (DQN) algoritması olarak adlandırılır. RL paradigması içinde, bu genellikle Deep RL olarak adlandırılır. Bu tezde, URLLC ve eMBB servislerinin bir arada bulunduğu RAN dilimleme için RL tabanlı kaynak tahsis mekanizmalarını önermekteyiz. Önerilen kaynak tahsis mekanizmalarının amacı, eMBB trafiği için verimi (throughput) maksimize etmek ve aynı anda URLLC trafiğinin gecikme gereksinimini karşılamaktır. RL tabanlı kaynak tahsis tasarımı, hiyerarşik olarak yerleştirilmiş katmanları içerir. Ana RL ajanı üst katmanda yer alır ve dilimler arası kaynak tahsisi gerçekleştirirken, URLLC ve eMBB alt ajanları dilim içi kaynak tahsisinden sorumludur. Ayrıca, RL eğitimi için hesaplamalı olarak verimli bir durum uzayını azaltma yöntemleri ve ölçeklenebilir tasarım sunulmuştur. Bunun yanı sıra, hiyerarşik kaynak tahsis tasarımında ajanları birbirinden bağımsız hale getirmek için yöntemler önerilmiştir. İlk çalışmada, RAN'da downlink iletim için RL tabanlı kaynak tahsis tasarımı kullanılmaktadır. Bu çalışmada düşünülen iletişim kaynağı, kaynak bloğu (RB) olarak adlandırılan birimdir. İkinci çalışmada, tasarlanan kaynak tahsis sistemi, görev devretme işlemleri için baz istasyonu ve MEC sunucusundaki kullanılabilir iletişim ve hesaplama kaynaklarını ortaklaşa tahsis etmektedir. Bu çalışmada düşünülen iletişim ve hesaplama kaynakları, sırasıyla baz istasyonunun kaynak bloğu (RB) ve MEC sunucusunun hesaplama kaynaklarıdır (CPU çevrim frekansı). Her iki çalışmada da paket gecikme analizi, kuyruk gecikmesi, iletim ve hesaplama gecikmeleri dahil edilerek sunulmaktadır. Ayrıca, URLLC ve eMBB servislerinin QoS gereksinimlerini de dahil ederek kaynak tahsisi problemini formüle edilmektedir. Deneyler farklı trafik senaryoları kullanılarak gerçekleştirilmiş ve sayısal sonuçlar farklı temel algoritmalarla karşılaştırılmıştır.

Özet (Çeviri)

5G and beyond networks aim to satisfy the challenging requirements of a variety of vertical services and domains such as automatic driving, health services, augmented/virtual reality and gaming, and streaming in addition to traditional mobile communication services and applications. Each service has its own specific QoS requirements such that enhanced mobile broadband (eMBB) services aim to provide higher data transmission rates and higher spectral efficiency for bandwidth-hungry applications and high-volume data processing services while ultra-reliable low-latency communications (URLLC) services are optimized for critical applications with stringent delay and reliability requirements. Allocating resources to higher priority URLLC services for its stringent delay and reliability requirements needs to be done carefully without jeopardizing the throughput performance of eMBB services. Simultaneously meeting the requirements of distinct services is a challenging task and requires innovative and intelligent resource allocation solutions. Network Slicing (NS) and Multi-Access Edge Computing (MEC) have emerged as promising enablers that can be utilized to manage network resources to satisfy application-specific requirements. NS enables the formation of end-to-end logical networks over an underlying infrastructure, spanning multiple network segments. This allows for cooperative allocation of resources across access, transport, and core components. NS simplifies the management of network resources, making it easier to provide tailored services for various applications, such as eMBB and URLLC. MEC serves as a crucial building block in mobile networks by facilitating the execution of computation tasks offloaded through wireless links. MEC enhances efficiency by bringing computational capabilities to the network's edge, resulting in faster response times and enhanced user experiences. Resource management for RAN slicing is a highly challenging task due to limited radio resources including frequency and power, stringent service requirements, dynamic wireless channel conditions, and random traffic arrivals. Effective management of communication and computation resources in RAN is needed to optimize resource utilization and satisfy service requirements. Innovative and intelligent resource allocation solutions utilizing artificial intelligence (AI) and machine learning (ML) will be key enablers to jointly optimize the performance of multiple services by providing real-time adaptation of the edge with respect to time-varying network conditions. Reinforcement Learning (RL) has become a popular tool for intelligent resource management in RAN. RL is an interdisciplinary area of machine learning in which an agent is trained to make a sequence of decisions by interacting with the environment whereby the agent chooses an action from a set of possible actions after observing the current system state and then receives a reward. Upon executing the action, the environment transitions to a new state. The primary goal of RL algorithms is to optimize action selection to maximize cumulative long-term rewards. In this study, we employ deep Q-learning (DQL) as our RL method. DQL employs a deep neural network (DNN) to achieve an action selection policy which maximize the expected cumulative reward. This sub-discipline of RL is referred to as deep reinforcement learning (DRL). In this thesis, we propose DRL-based resource management mechanisms for RAN slicing where URLLC and eMBB slices co-exist. The proposed resource distribution mechanisms aim to maximize the throughput for eMBB traffic while simultaneously satisfying the delay requirement of URLLC traffic. DRL-based resource allocation design includes hierarchically placed layers. The main DRL agent located at the upper layer performs inter-slice resource distribution while the URLLC and eMBB sub-agents are responsible for intra-slice resource allocation. In addition, we presented methods to reduce state and action spaces for computationally efficient DRL training and scalable design. Furthermore, we proposed methods to make the agents independent from each other in the hierarchical resource allocation design. In the first study, DRL-based resource allocation design is utilized for downlink transmission in RAN. In this study, the communication resource under consideration is the Resource Block (RB). In the second study, the resource allocation system is designed to jointly allocate communication (resource block) and computation (CPU cycle frequency) resources available in the base station and MEC server for task offloading operations. In both studies, packet delay analysis is presented by including queuing, transmission and computation delays. Moreover, resource allocation problems are formulated by including the QoS requirements of the URLLC and eMBB slices. The experiments are performed using various traffic scenarios and numerical results are compared with different baseline algorithms.

Benzer Tezler

  1. Tez No

    348716

    Scheduling algorithms for next generation cellular networks

    Yeni nesil hücresel telsiz ağları için çizelgeleme algoritmaları

    MEHMET KARACA

    Doktora

    İngilizce

    İngilizce

    2013

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖZGÜR ERÇETİN

  2. Tez No

    143063

    Topology and bandwidth adaptation in optical WDM backbone networks with dynamic traffic

    Değişken veri trafikli optik WDM omurga ağlarında topoloji ve bant genişliği uyarlama

    AYŞEGÜL GENÇATA

    Doktora

    İngilizce

    İngilizce

    2003

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET BÜLENT ÖRENCİK

  3. Tez No

    400322

    Three essays on dynamic pricing and resource allocation

    Başlık çevirisi yok

    NUR AYVAZ ÇAVDAROĞLU

    Doktora

    İngilizce

    İngilizce

    2012

    İşletmeColumbia University

    Endüstri Mühendisliği Ana Bilim Dalı

    SOULAYMANE KACHANI

  4. Tez No

    75555

    ATM şebekelerde trafik analizi ve güvenlik

    Başlık çevirisi yok

    HALİL AYDIN

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. GÜNSEL DURUSOY

  5. Tez No

    101088

    APPN mimarisi ile diğer şebeke mimarilerinin bütünleştirilmesine ilişkin yöntemler

    Integration methods of APPN architecture and other networking architectures

    ALPER GÜVENER

    Yüksek Lisans

    Türkçe

    Türkçe

    2000

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    PROF.DR. GÜNSEL DURUSOY

Geri Dön