Geri Dön

Resource allocation in vehicular edge computing networksbased on deep reinforcement learning

Araç uç bilişiminde derin pekiştirmeli öğrenmeye dayalıkaynak tahsisi

PDF İndir

  1. Tez No: 682220
  2. Yazar: HOMA MALEKI
  3. Danışmanlar: PROF. DR. LÜTFİYE DURAK ATA
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
  12. Bilim Dalı: Bilgi ve Haberleşme Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 73

Özet

Son yıllarda, doğal dil işleme, aşırı yüksek çözünürlüklü video akışı, çevrimiçi etkileşimli oyunlar, sanal gerçeklik ve artırılmış gerçeklik gibi akıllı uygulamaların sayısı artmıştır. Bu uygulamalar için önemli ölçüde daha fazla depolama ve hesaplama gücü gerekmektedir. Genel olarak, nesnelerin interneti (Internet of Things, IoT) cihazları pil ve hesaplama kaynakları tarafından kısıtlanmaktadır. Bu durum ise, hesaplanma aktarımının mobil bulut bilişime (Mobile cloud computing, MCC) kaymasına yol açmıştır. Bulut bilişim kullanıcılara büyük avantaj sağlamasına rağmen bazı dezavantajları da olabilir. Örneğin bulut, akıllı cihazlardan çok uzakta olduğu durumlarda, özellikle gecikmeye duyarlı görevlerde yüksek gecikmelere neden olabilir. Bu sorunu çözmek için uçta hesaplama (uç hesaplama veya uç bilişim) çalışılmıştır. Uç bilişim, düşük gecikme süresi ve yüksek bant genişliğini elde etmek için kritik veri işlemeyi ağ kenarına, kullanıcılara yakın bir yere taşıyarak gecikme sorununa bir çözüm önerir. Hesaplama aktarım tekniği, hesaplama açısından sınırlı kaynak cihazlarının gecikme kısıtlamalı uygulamalarda verimli bir şekilde çalışmasına izin veren umut verici bir çözümdür. Bu teknik, yerel hesaplama uygulamalarını uç sunuculara aktararak akıllı cihazların performansını artırabilir. Araç uç bilişim (vehicular edge computing, VEC) tekniği, hesaplamaların araçlarda yapılmasını sağlar. Böylece, hesaplama aktarımı yoluyla diğer araçlar ve yayalar için bilgi aktarım servisi sağlanmış olur. VEC ortamı, ağ topolojisinin ve kablosuz kanal bilgisinin zaman içinde hızlı bir şekilde değişmesinden kaynaklı olarak oldukça dinamiktir. Bu belirsizlikler, yük aktarım hesaplaması için çeşitli zorluklara neden olmaktadır. Bu tezde, araç ağları için bir çevrimiçi öğrenme prosedürü ile dinamik ortam sorununu çözen akıllı bir hesaplama aktarım yaklaşımı önerilmektedir. Haberleşme ortamı, kaynak paylaşımının gerçekleştirilmesine katkıda bulunabilecek akıllı araçlar ve sabit altyapısal yol kenarı birimlerini (road side unit, RSU) içerir. Verimli bir yük aktarımı kararı vermek için, enerji tüketimini, iletim gecikmesini ve işlem gecikmesini göz önünde bulundurarak yük aktarımı sırasında her görevin yürütme maliyetini hesaplayan bir maliyet fonksiyonu tanımlanmıştır. Bununla birlikte, yük aktarımı görevi problemi, bir optimizasyon problemi olarak tanımlanmıştır. Daha sonra, kullanıcı ekipmanların ortamı gözlemleyerek yük aktarım maliyet performansını öğrenmesi sağlanarak, ister araç olsun ister bir baz istasyonu olsun, hesaplama için en iyi uç sunucuyu seçmesine olanak sağlayan çift derin Q-öğrenmeye dayalı bir algoritma tasarlanmıştır. Ayrıca, ortamın güçlü hareketliliği göz önüne alındığında, kullanıcılar için daha iyi hizmet kalitesi ve deneyim sağlayan etkin el değiştirme ile hesaplama aktarımı stratejisi sunulmuştur. Akıllı uygulamaların büyük boyutu nedeniyle, oluşturulan her bir hedef görevin farklı boyutlarda birkaç parçaya bölünebildiği kısmi hesaplama aktarım yöntemi göz önüne alınmıştır. Bu nedenle, hedef araç, her bir parçayı uygun bir uç sunucuya aktarmaya veya aracın ortamdaki durumuna göre yerel olarak yürütmeye karar verebilecektir. Sonuç olarak, hedef görev için hesaplama aktarım stratejisi şu şekilde karakterize edilmiştir: Başlangıçta, ilgilenilen hedef araç, büyük boyutlu akıllı bir hedef görevi oluşturur. Böylece, hedef araç, işaret mesajları göndererek komşu ortamı keşfetmeye başlar. Daha sonra elde edilen merkezi işlemci birimi (central processing unit, CPU) frekansı ve bir hesaplamanın kabul edilebilirliği gibi bilgilerle ilgili olarak, iletişim aralığındaki RSU'lar ve akıllı araçlar dahil olmak üzere uygun uç sunucuların bir listesini hazırlar. Bu listeyi kullanarak hedef araç, adaylar arasında bir karar verebilecek ve uç bilişim için görevi devredebilecek ve sonucu alacaktır. Alanda uygun aday yoksa, hedef aracın yaklaşan sunucu keşfine kadar görevi yerel olarak yürütmektedir. Yüksek mobilite nedeniyle ve iletişim menzilinin değiştirilmesiyle oluşabilecek veri kaybını önlemek için hedef araç, hedef güzergahı boyunca alan adı verilen düzenli mesafelerde çevreyi araştırır ve aday listesini periyodik olarak günceller. Belirli bir varsayılan mesafe aşıldıktan sonra, ortam yeni bir duruma geçer, bu yüzden olası aday sunucuların listesi değişir. Bu durumda hedef araç, bir önceki alanın geçişi sırasında gerçekleştirilmeyen görevin kalan kısmını aktarır. Bu işlem, hedef görevin tamamı yürütülene kadar devam eder. Önerilen algoritmanın üç önemli bileşeni vardır; birincisi, gözlemin zamana bağımlılığını ortadan kaldırarak öngörülemeyen ortamlarda kararlılığı sağlamak için işbirliği yapan deneyim belleğini kullanmak, ikincisi ise, değerlendirmek ve karar vermek için aynı eylem değerini kullanmak yerine iki ayrı derin sinir ağı (deep neural network, DNN) kullanmak ve bu şekilde fazla tahmin edilen değerlerin seçilmesini önlemek, ve üçüncüsü, en uygun eylem değeri tahmini için DNN'yi kullanmaktır. Son olarak bu tezin ana katkıları şu şekilde listelenmiştir: I) Kaynak paylaşımını gerçekleştirmek için işbirliği yapabilen akıllı araçlar ve RSU'lar da dahil olmak üzere çok araçlı ve son derece dinamik araç ortamları için akıllı bir hesaplama aktarım senaryosu önerilmiştir. II) Verimli bir hesaplama aktarım kararı vermek için, enerji tüketimini, iletim gecikmesini ve işleme gecikmesini göz önünde bulundurarak, aktarım sırasında her bir görevin yürütme maliyetini hesaplayan bir maliyet fonksiyonu tanımlanmıştır. Ardından, görev aktarma problemi bir optimizasyon problemi olarak ele alınmıştır ve derin Q ağı (DQN) ile derin pekiştirmeli öğrenmeye (deep reinforcement learning, DRL) dayalı bir algoritma tasarlanmıştır. III) Diğer yandan algoritma, bir değerlendirme ağı ve bir hedef ağdan oluşur. Birincisi, her hesaplama aktarım adımı için Q-değeri üretmeyi amaçlarken, diğeri, önerilen çift DQN (DDQN) algoritmasının parametrelerini eğitmek için hedef Q-değerlerini üretmek için kullanılır. IV) Bu bağlamda, hizmet kalitesini ve deneyim kalitesini iyileştirmek için, aracın konumu ve çevrenin durumu ile ilgili olarak düzenli mesafelerde uygun uç sunucuları keşfetmesine izin veren, el değişterme stratejisi ve bir kısmi hesaplama aktarımı yaklaşımı uygulanmıştır. V) Önerilen algoritmanın etkinliğini ve performansını analiz etmek için, çeşitli sayıda araç ve RSU ile farklı senaryolarda bir dizi inceleme gerçekleştirilmiştir ve derin Q-Learning ve çok kollu haydut (MAB) dahil olmak üzere literatürdeki mevcut hesaplama aktarım yöntemleriyle karşılaştırılmıştır. Simülasyon sonuçları, önerilen algoritmanın ortalama hesaplama aktarım maliyeti, ortalama gecikme, enerji tüketimi ve ayrıca bir hedef rota sırasında yürütülen görevin veri miktarı açısından daha iyi performans elde edebildiğini göstermektedir. Önerilen yöntemi farklı tarzlarda ve çeşitli ölçütlerle incelenmiştir. Deneysel sonuçlar, DDQN algoritmasının düşük gecikme performansına ulaştığını ve ortalama hesaplama gecikmesini önemli ölçüde azalttığını göstermiştir. Ortalama hesaplama maliyeti analizi, tanıtılan yaklaşımın diğer yöntemlerden daha hızlı azaldığını ve kararlı olma eğilimi gösterdiğini göstermektedir. Ayrıca farklı sayıda araç içeren bir senaryo düşünülmüştür ve sonuçlar DDQN algoritmasının durum sayısı arttıkça daha iyi performans gösterdiğini kanıtlamaktadır. Farklı alanlarda hesaplama aktarımı yaparken enerji tüketim oranları karşılaştırılmıştır ve sonuçlar, önerilen algoritmanın çevrenin durum uzayında uç sunucuların konumunu aldığından, her bir eylemi gerçekleştirerek enerji tüketim performansını öğrenebileceğini ve mesafeyi göz önünde bulundurarak daha düşük enerji tüketimi ile en uygun kararı vermeyi sağlayabileceğini ortaya koymaktadır. Ayrıca el değiştirme stratejisi, hedef aracın her adımda yalnızca görevin kalan kısmını aktarmasına yardımcı olur ve bu da enerji tüketimini azaltabilir. Son olarak, gecikme ve enerji açısından farklı önceliklere sahip algoritmanın analizinin sonuçları, gecikmeye duyarlı görevlerin aktarılmasının yüksek maliyetli olduğunu göstermektedir. Tersine, enerji tüketimine öncelik vermek düşük maliyetli hesaplama sağlar, bu nedenle hesaplama aktarımı, kullanıcı cihazlarında pil tasarrufu için iyi bir çözüm olabilir.

Özet (Çeviri)

Over the past few years, the number of intelligent applications, such as natural language processing, ultra-high-definition video streaming, online interactive games, virtual reality, and augmented reality has been raised. These applications require significantly more storage and computational power. Generally, internet of things (IoT) devices are restricted by the battery and computational resources and this led to a shift to perform computation offloading to mobile cloud computing (MCC). Although cloud computing offers numerous advantages to customers, it has several drawbacks. For instance, since the cloud is in the far distance from smart devices, it can cause high latency, especially for delay-sensitive tasks. To solve this problem, Edge computing paradigm has been introduced. Edge Computing suggests a solution to the latency problem by relocating crucial data processing to the edge of the network, near to users, resulting in low latency and high bandwidth. The computation offloading technique is a promising solution that allows computationally limited resource devices to run delay-constrained applications efficiently. This technique can boost the performance of smart devices by offloading local computation applications to edge servers. Vehicular Edge Computing (VEC) incorporates the processing capabilities into the vehicles, and thus, provides computing services for other vehicles as well as pedestrians through the computation offloading. The VEC environment is highly dynamic, where the topology of networks and wireless channel states are changing rapidly over time. These uncertainties cause important difficulties for computation offloading. We propose an intelligent computation offloading approach for vehicular networks which solves the problem of dynamic environment with an online learning procedure. The environment includes smart vehicles, and fixed infrastructures roadside units (RSUs) which can contribute to performing resource sharing. To make an efficient offloading decision, we define a cost function that calculates the execution cost of each task while offloading, considering energy consumption, transmission delay, and processing delay. Then, we define the task offloading problem as an optimization problem and design an algorithm based on Deep Reinforcement Learning (DRL) with double Q-Learning (DQL) which allows user equipments (UEs) to learn the offloading cost performance by observing the environment and choose the best edge server for computation, whether a vehicle or an RSU. Furthermore, concerning the strong mobility of the environment, we introduce a handover-enabled computation offloading strategy that leads to a better quality of service and experience for users. To analyze the effectiveness and performance of the proposed algorithm, we perform a series of examinations in different scenarios with various number of vehicles and RSUs, and compared with existing offloading methods in the literature including DQN and multi-armed bandit (MAB) theory. Simulation results demonstrate that the proposed algorithm is able to achieve better performance in terms of average offloading cost, average delay, energy consumption and also the amount of executed task during a target route.

Benzer Tezler

  1. Tez No

    610527

    An RSU placement framework for V2I scenarios

    Taşıt ağları için yol kenarı ünitesi yerleştirme uygulaması

    BARIŞ KARA

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BAHRİ ATAY ÖZGÖVDE

  2. Tez No

    672711

    Offloading decision with mobility-aware for mobile edge computing in 5G networks

    5g şebekesinde mobil kenar bilgi işlem için mobilite bilinci ile aktarma kararları

    SAEID JAHANDAR BONAB

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA ERGEN

  3. Tez No

    866866

    Analysis of real vehicle traces and its use in optimizations of 5G cellular network resources

    Gerçek araç izlerinin analizi ve 5G hücresel ağ kaynaklarınınoptimizasyonunda kullanımı

    MUHAMMED NUR AVCİL

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MÜJDAT SOYTÜRK

  4. Tez No

    899617

    Viability-based control for robustness in 6G networks: Ensuring efficient communication under extreme conditions

    6G ağlarında dayanıklılık için uygunluk temelli kontrol: Aşırı koşullar altında verimli iletişim sağlama

    İDİL BENSU ÇILBIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZGÜR ERÇETİN

  5. Tez No

    697257

    Mobility management and resource allocation strategies for visible light communication networks

    Görünür ışık haberleşme ağları için hareketlilik yönetimi ve kaynak atama stratejileri

    MUHAMMET SELİM DEMİR

    Doktora

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiÖzyeğin Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT UYSAL

Geri Dön