Using reinforcement learning for dynamic link sharing problems under signaling constants
Sinyalleşme kısıtlamaları altında dinamik link paylaşım problemlerinin güçlendirmeli öğrenme metoduyla çözülmesi
- Tez No: 139279
- Danışmanlar: YRD. DOÇ. DR. NAİL AKAR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Link Paylaşımı, Güçlendirmeli Öğrenme Metodu, Markov Karar Verme Süreçleri, Dinamik Kanal Paylaşımı, Dinamik Programlama. vı, Link Sharing, Reinforcement Learning, Markov Decision Processes, Dynamic Link Sharing, Dynamic Programming. IV
- Yıl: 2003
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 134
Özet
ÖZET SİNYALLEŞME KISITLAMALARI ALTINDA DİNAMİK LİNK PAYLAŞIMI PROBLEMLERİNİN GÜÇLENDİRMELİ ÖĞRENME METODUYLA ÇÖZÜLMESİ Nuri Çelik Elektrik ve Elektronik Mühendisliği Bölümü Yüksek Lisans Tez Yöneticisi: Assist. Prof. Dr. Nail Akar Mayıs 2003 Statik link paylaşım sistemlerinde, kullanıcılara, aktif olup olmadıklarına bakılmaksızın, linkin sabit bir bantgenişliği pay edilir. Öte yandan, kullanıcılara, linkin o andaki kullanım durumuna göre dinamik bir bantgenişliği verilmesine dinamik link paylaşımı denmektedir. Örneğin, dinamik link paylaşımının çoklu- ortam uygulamalarının hız uyarlama becerisiyle bir arada kullanılması, HFC ağlarında ve genişbant kablosuz ağlarda yeni bir hizmet niteliği (QoS) yapısı sağlamaktadır. Dinamik link paylaşımında, ayrılmış bantgenişliğinin çok sık değiştirilmesi, link paylaşım sisteminde mesaj yoğunluğuna ve işlemci gücü har canmasına neden olduğundan bir ölçeklenme sorununa yol açar. Diğer taraftan, uygulamaların hızları, bir kereye mahsus olarak en kötü şartlara göre ayarlanırsa, trafik yüküne bağlı olarak bantgenişliğinin önemli bir bölümü boşa harcanabilir. Bu yüzden, sinyalleşme oram ve bantgenişliğinin verimli kullanılması arasındaki ödünleşimi gözönüne alan optimal bir link paylaşım sistemine ihtiyaç vardır. Bu çalışmada, dinamik link paylaşımı için, sinyalleşme oranının bir kısıtlama olarak belirtildiği bir Markov karar verme yapısı önerilmektedir. Bu Markov karar verme probleminin çözümü için güçlendirmeli öğrenme metodu seçilmiştir.Sonuçlara göre, önerilen metod sinyalleşme oran kısıtlamalarını bozmadan, diğer buluşsallara (heuristic) göre daha yüksek bir bantgenişliği kullanım verimliliği göstermiştir.
Özet (Çeviri)
ABSTRACT USING REINFORCEMENT LEARNING FOR DYNAMIC LINK SHARING PROBLEMS UNDER SIGNALING CONSTRAINTS Nuri Çelik M.S. in Electrical and Electronics Engineering Supervisor: Assist. Prof. Dr. Nail Akar May 2003 In static link sharing system, users are assigned a fixed bandwidth share of the link capacity irrespective of whether these users are active or not. On the other hand, dynamic link sharing refers to the process of dynamically allocating band width to each active user based on the instantaneous utilization of the link. As an example, dynamic link sharing combined with rate adaptation capability of multimedia applications provides a novel quality of service (QoS) framework for HFC and broadband wireless networks. Frequent adjustment of the allocated bandwidth in dynamic link sharing, yields a scalability issue in the form of a sig nificant amount of message distribution and processing power (i.e. signaling) in the shared link system. On the other hand, if the rate of applications is adjusted once for the highest loaded traffic conditions, a significant amount of bandwidth may be wasted depending on the actual traffic load. There is then a need for an optimal dynamic link sharing system that takes into account the tradeoff between signaling scalability and bandwidth efficiency. In this work, we intro duce a Markov decision framework for the dynamic link sharing system, when the desired signaling rate is imposed as a constraint. Reinforcement learning mmethodology is adopted for the solution of this Markov decision problem, and the results demonstrate that the proposed method provides better bandwidth efficiency without violating the signaling rate requirement compared to other heuristics.
Benzer Tezler
- Artificial intelligence based and digital twin enabled aeronautical AD-HOC network management
Yapay zeka tabanlı ve dijital ikiz destekli geçici havasal ağ yönetimi
TUĞÇE BİLEN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BERK CANBERK
- Iyileştirilmiş pekiştirmeli öğrenme yöntemi ve dinamik yükleme ile kentiçi ulaşım ağlarının tasarımı
Dynamic user equilibrium urban network design based on modified reinforcement learning method
CENK OZAN
Doktora
Türkçe
2012
TrafikPamukkale Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. SONER HALDENBİLEN
- Agile flight in dynamic environments: Bridging reinforcement and imitation learning
Dinamik ortamlarda çevik uçuş: Taklit ve pekiştirmeli öğrenme ile navigasyon
AHMET GAZİ ÇİFCİ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖZGÜR ERKENT
- Deep Q-Learning approaches for stochastic dynamic optimization problems
Stokastik dinamik optimizasyon problemleri için Derin Q-Öğrenme yaklaşımları
TUĞÇE YAVUZ
Doktora
İngilizce
2024
Endüstri ve Endüstri MühendisliğiEskişehir Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ONUR KAYA
- A heuristic solution approach for dynamic mission abort problem based on deep reinforcement learning
Görev iptal problemi için derin pekiştirmeli öğrenmeye dayalı bir sezgisel çözüm yaklaşımı
DUYGU YEŞİLTEPE
Yüksek Lisans
İngilizce
2024
Endüstri ve Endüstri MühendisliğiOrta Doğu Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ZEYNEP PELİN BAYINDIR
DOÇ. DR. ENGİN TOPAN