Geri Dön

A load balancing method for cellular networks: Mobility-aware reinforcement learning

Hücresel ağlar için yük dengeleme yöntemi: Hareketlilik bilincine sahip takviyeli öğrenme

PDF İndir

  1. Tez No: 849817
  2. Yazar: SERKAN BUHURCU
  3. Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN, DR. LEVENT ÇARKACIOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 81

Özet

Hücresel ağlar, kullanılmaya başladığı günden bu yana hızla gelişmektedir. Yaygınlaşan kapsama alanları ve yükselen bağlantı hızları ile hücresel ağlardaki kullanıcı sayısı giderek artmaktadır. Özellikle günlük hayatta sıkça kullandığımız teknolojik ürünlerin de“nesnelerin interneti”yaklaşımı ile hücresel veri alışverişine dahil olması, kullanıcı sayısını oldukça artırmıştır. Servis sağlayıcılar, artan kullanıcı sayısı ile baş edebilmek adına yoğun bölgelerde yeni baz istasyonları inşa etmeyi tercih etmektedir. Bunun sonucu olarak kullanıcılar aynı anda birden fazla baz istasyonunun kapsama alanı içerisinde bulunurlar. Bu durumda kullanıcı ürünler (cep telefonları, akıllı saatler, akıllı araçlar vb.), en iyi sinyal kalitesini elde edeceği baz istasyonuna bağlanmak isterler. Kullanıcıların baz istasyonlarından aldığı sinyal kalitesi sürekli değişim halindedir. Kullanıcı ile baz istasyonu arasındaki fiziksel engeller, kullanıcının baz istasyonuna olan uzaklığı, baz istasyonuna bağlı olan kullanıcı sayısı gibi faktörler sinyal kalitesini ciddi ölçüde etkilemektedir. Bu sebeple kullanıcılar sık sık çevredeki baz istasyonlarının sinyal kalitesini ölçer. Eğer kullanıcı bağlı olduğu baz istasyonundan daha iyi bir bağlantı sağlayabilecek bir baz istasyonu bulursa, o baz istasyonuna geçiş yapabilir. İnsanların şehre dağılımı homojen değildir. Şehrin bazı bölgeleri çok kalabalıkken bazı bölgelerinde az sayıda insan bulunabilir. Bu durum hücresel ağları da etkilemektedir. Bazı baz istasyonları az sayıda kullanıcıya sahipken diğer baz istasyonları çok sayıda kullanıcıya hizmet vermek zorunda kalabilir. Bir baz istasyonuna bağlı olan kullanıcı sayısı arttıkça kullanıcılara sağlanan ortalama veri hızı düşmektedir. Bunun önüne geçmek için kullanıcı dağılımının optimize edilmesi gerekmektedir. Bu konu literatürde yük dengeleme olarak tanımlanmaktadır. Yük dengeleme için çeşitli yöntemler kullanılabilir. Bunlardan en yaygını kullanıcıların hücreler arasındaki geçişlerini manipüle etmektir.“Hücreye özgü dengeleme parametresi”(CIO) bu amaç için kullanılabilen bir parametredir. Kullanıcılar, çevrelerindeki baz istasyonlarının sinyal kalitesini ölçer ve bağlı oldukları baz istasyonunun sinyal kalitesi ile karşılaştırır. CIO değerleri, bu karşılaştırma sürecinde devreye girer. Denklemin her iki tarafına da eklenen CIO değerleri, iki baz istasyonu arasındaki geçiş kararını etkilemek için kullanılır. CIO değerleri değiştirilerek kullanıcıların, aslında daha kötü bir sinyal sunan baz istasyonuna geçişi sağlanabilir. Aynı şekilde, kullanıcıların daha iyi bir sinyal sunan baz istasyonuna geçişi ise geciktirilebilir. CIO değerleri, yoğunluk yaşayan hücreleri rahatlatmak için kullanılabilir. Bu değerlerin doğru şekilde ayarlanması ile kullanıcıların bir kısmının çevredeki daha az yoğun olan hücrelere geçişi sağlanabilir. Yani hücrelerin birbirlerine kıyasla kapsama alanları, diğer bir deyişle hücreler arası geçiş noktaları, CIO değerleri yardımı ile değiştirilebilir. Her hücre, her bir komşu hücresini temsil eden bir CIO değerine sahiptir. Bir kullanıcı geçiş kararını değerlendirirken, bağlı olduğu hücrenin ve geçmek istediği hücrenin CIO değerlerini kullanır. Şebekedeki tüm hücrelerin CIO değerleri optimize edilerek geniş kapsamlı bir yük dengeleme yapılabilir. Literatürde bu kapsamda birçok çalışma bulunmaktadır. Özellikle son yıllarda, gelişmiş makine öğrenme tekniklerinin yardımı ile başarılı sonuçlar elde edilebilmektedir. Güncel çalışmalarda en sık kullanılan yöntem takviyeli öğrenme yöntemidir. Bu yöntemde sistem, çevreden edindiği bilgileri anlamlandırır ve ortamın hangi durum içerisinde olduğuna karar verir. Ardından bu duruma en iyi karşılık gelen aksiyonu uygular ve ortamdaki değişimi gözlemler. Seçmiş olduğu aksiyonun ne kadar başarılı olduğunu anlamak için bir sonraki adımda ortamın durumunu yeniden gözden geçirir. Elde ettiği bilgiler ile karar verme mekanizmasını günceller. Yük dengeleme sistemlerinin öğrenme amacıyla kullanabileceği hazır bir veri seti yoktur. Çünkü öğrenilmesi gereken veri, alınan kararlara ortamın verdiği tepkilerdir. Yük dengeleme sisteminin bu tepkileri yorumlayarak doğru kararları almayı öğrenmesi gerekir. Bu sebeple takviyeli öğrenme yöntemi, yük dengeleme problemi için uygun bir yöntemdir. Takviyeli öğrenme yönteminde ortamın yorumlanma şekli sistem performansında büyük bir etkiye sahiptir. Ortamdan alınan tüm bilgiler, kısıtlı büyüklükteki durum uzayı içerisinde bir duruma karşılık gelmelidir. Büyük bir durum uzayı, daha hassas ortam ölçümleri sağlar. Fakat öğrenme ve karar verme sürecini de uzatır. Durum uzayına benzer şekilde aksiyon uzayının da büyüklüğü önem arz etmektedir. Az sayıda aksiyon seçeneği, sistem performansını düşürecektir. Diğer taraftan çok sayıda aksiyon olması durumunda ise öğrenme ve karar verme süreçleri uzayacaktır. Literatürdeki çalışmaları yük dengeleme sisteminin lokasyonu açısından ikiye ayırmak mümkündür, merkezi sistemler ve dağıtık sistemler. Merkezi yük dengeleme sistemlerinde tüm hücrelerden gelen veriler tek bir merkezde toplanıp yorumlanır. Şebekedeki tüm CIO değerleri bu merkez tarafından belirlenir. Bu sistemler tüm şebekeden veri topladıkları için teoride çok başarılı sonuçlar göstermektedir. Fakat baz istasyonu ve hücre sayısı arttıkça takviyeli öğrenme yönteminin durum ve aksiyon uzaylarının boyutu da katlanarak artmaktadır. Çok sayıda hücrenin bulunduğu gerçekçi bir senaryoda bu sistemlerin verimli bir şekilde çalışması mümkün olmamaktadır. Dağıtık sistemlerde hücreler veya baz istasyonları bağımsız şekilde çalışır ve kendi ellerinde bulunan verileri yorumlayarak CIO değerlerini belirlemeye çalışırlar. Merkezi sistemlere kıyasla oldukça uygulanabilir bir yapıya sahip olan dağıtık sistemler, çevre hücreler hakkında yeterli bilgiye sahip olmadıkları için düşük bir performans vaad ederler. Bu tezde ele alınan problemde hücrelerin kullanıcı sayıları eşitlenmeye çalışılmaktadır. Bunun için hücrelerdeki anlık kullanıcı sayıları kullanılabilir. Fakat kullanıcı dağılımı oldukça dinamiktir. Anlık kullanıcı sayılarını kullanarak CIO değerlerini belirlemek, çok fazla sayıda hareketli kullanıcının olduğu ortamlarda iyi bir performans sağlamamaktadır. Bu çalışmada geliştirilen yük dengeleme yöntemi, kullanıcıların yakın gelecekteki dağılımını tahmin ederek CIO değerlerini belirler. Önerilen sistem iki katmandan oluşmaktadır, merkezi katman ve dağıtık katman. Merkezi katman, tüm hücrelerin kullanıcı sayılarının ve hücreler arasındaki geçiş sayılarının kaydını tutar. Bu kayıtları lineer otoregresif bir modelde işleyerek gelecek zaman aralıklarında beklenen geçiş sayılarını tahmin eder. Bu sayıları kullanarak hücrelerin yakın gelecekteki kullanıcı sayılarını oluşturur ve bu tahminleri dağıtık sistem ile paylaşır. Bu modelin merkezi olması sayesinde kullanıcıların geniş çerçevedeki akışı incelenebilir ve isabetli tahminler yapılabilir. Dağıtık katmanda her hücrenin kendine ait takviyeli öğrenme modelleri bulunmaktadır. Bu modeller, merkezi sistemin yaptığı kullanıcı sayıları tahminlerini kullanarak kendi durum uzaylarını oluştururlar. Bu modeller, her zaman dilimindeki duruma göre en uygun CIO değerini belirleyerek kullanıcı dağılımını dengelemeye çalışırlar. CIO değerlerinin belirlenmesi işi dağıtık bir şekilde yapıldığı için durum ve aksiyon uzayları küçük boyutlardadır. Bu sayede önerilen sistem yüksek sayıda hücresi bulunan sistemlere rahatlıkla uygulanabilir. Önerilen sistem NS-3 yazılımı üzerinde denenmiştir. NS-3, LTE hücresel ağ sisteminin kapsamlı bir gerçeklenmesini içermektedir. Kalabalık ve hareketli şehir bölgelerini simüle eden senaryolar oluşturulmuştur. Kullanıcı hareketleri değişken olasılıklarla rastlantısal olarak belirlenmiştir. Simülasyonlar süresince hücreler arasındaki kullanıcı sayısı farkları kayıt altına alınmıştır. Bu denemeler sonucunda önerilen sistemin, sabit CIO değerli bir sisteme kıyasla hücreler arasındaki kullanıcı sayısı farkını \%40 oranında azalttığı görülmüştür. Önerilen iki katmanlı tasarımın geçerliliğini sorgulamak amacıyla bir dizi simülasyon daha gerçekleştirilmiştir. Bu simülasyonlarda kıyas olarak tek katmanlı dağıtık bir sistem kullanılmıştır. Bu sistemde hücrelerin anlık kullanıcı sayıları durum uzayını oluşturmaktadır. Gelecekteki kullanıcı sayılarını tahmin eden ikinci bir katman kullanılmamıştır. Bu denemelerin sonucunda, önerilen iki katmanlı yapının tek katmanlı dağıtık yapıdan daha başarılı olduğu görülmüştür. Bu sonuçlar, kullanıcı sayılarını tahmin eden bir merkezi katman eklemenin sistem performansını artırdığını kanıtlamaktadır.

Özet (Çeviri)

Since the first days of mobile communications, developments in cellular networks have continued. Number of users and connection speed increases every day. With increasing connection speeds and the discovery of the Internet of Things, the number of users in cellular networks peaked. In the last decade, managing the ever-growing number of users in the network has become an important problem in the communications field. The distribution of people is not homogeneous. On a regular day, some parts of a city become overcrowded whereas some other places are empty. This unbalanced distribution becomes a burden to the cellular networks. Some base stations are forced to serve too many users while others have free resources to use. As a base station or a cell gets overloaded, the quality of the provided service to the users gets worse. Therefore, a network should keep the user counts of the cells similar to each other. This job is called load balancing in cellular networks. The service provider companies build new base stations around crowded areas in order to meet high demand. Therefore, users have a variety of options around them to get mobile services. Mobile users choose their cells based on signal measurements. They are keen to find the best connection. However, the signal quality of a cell is not constant. As the users keep moving, the strength of the acquired signal will change. At some point, the users need to make a transition to a new cell with better signal quality. This process is called a handover procedure. In the handover procedure, the signal quality of the serving cell is compared with the signal quality of neighboring cells. If the neighboring cell provides a better connection, the handover procedure starts. Cell Individual Offset (CIO) is introduced to manipulate the handover triggering. CIO values are added to the signal measurements before the comparison. Each cell has a CIO value for each neighboring cell. By adjusting the CIO values, a handover procedure between two specific cells can be triggered earlier or later than its regular time. In other words, the threshold between cells can be shifted in either direction. When a cell gets overloaded, CIO values can be adjusted to shift some of the users to the neighboring cells. There are many studies in the literature that use advanced machine learning techniques to adjust CIO values automatically. However, adjusting these values based on the current status of the network does not work well when too many users are in motion. The distribution of the users keeps changing. The future distribution of users should be predicted before adjusting the parameters. Predicting the user count of a cell on its own has low accuracy because all the cells are interconnected and affect each other. Therefore, a decentralized system would not perform well. A centralized system, on the other hand, can collect the necessary information from all cells and make an accurate prediction. However, choosing the correct value for each CIO parameter by a single model is not a feasible job, especially when the number of cells increases. In this thesis, a novel two-layered load balancing solution is proposed. The system has a centralized layer for load prediction purposes. The CIO adjustment procedure is conducted by the decentralized layer which is located on the base stations. The centralized layer in the proposed design uses an auto-regressive linear model. All handover statistics between all cell pairs are recorded by this model. By using the latest numbers, the near future user count for each cell is predicted. These predictions are shared with the decentralized layer. In the decentralized layer, reinforcement learning agents are used. These agents acquire the predicted number of users for themselves and their neighbors. By using these predictions, these agents adjust the CIO values. By analyzing their actions after each step, reinforcement learning agents learn to choose the optimal CIO value for each state of the network. The proposed design is tested in NS-3. The difference between the number of users among all cells is recorded in the conducted tests. The results show that the proposed design performs 40\% better than a system with constant CIO values. The proposed system is also compared with a scaled down version which has only a decentralized layer. The scaled down system uses the current number of users to adjust the CIO values. The simulation results show that the proposed design has a clear advantage over the scaled down version. This result proves the benefit of using a centralized layer in order to predict the user counts of cells.

Benzer Tezler

  1. Tez No

    682989

    5G ötesi aşırı yoğun heterojen haberleşme ağlarında el değiştirmelere dayalı hücresel ağ iyileştirmesi

    Handover-based cellular network healing in beyond 5G ultra dense heterogeneous communication networks

    ABDUSSAMET HATİPOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. LÜTFİYE DURAK ATA

  2. Tez No

    371804

    Mobility load balancing in self-organizing OFDMA networks

    Kendi kendine düzenlenen DFBÇE ağlarda hareketli yük dengeleme

    NUR ÖYKÜ TUNCEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. MUTLU KOCA

  3. Tez No

    75101

    Grup teknolojisi imalat sistemleri tasarımı için bir metodoloji ve bu metodolojinin endüstride uygulanması

    Başlık çevirisi yok

    NEVİN AYDIN

    Doktora

    Türkçe

    Türkçe

    1998

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. M. BÜLENT DURMUŞOĞLU

  4. Tez No

    839046

    Comparative analysis of user-cell association methods formilimeter wave massive mimo by developing a system levelsimulator for hetnets

    Başlık çevirisi yok

    ŞİNASİ ÇETİNKAYA

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Mühendislik BilimleriUniversity of Oklahoma

  5. Tez No

    14275

    Esnek üretim sistemleri

    Flexible manufacturing systems

    EMİR ARSEBÜK

    Yüksek Lisans

    Türkçe

    Türkçe

    1990

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    PROF.DR. ATAÇ SOYSAL

Geri Dön