Multi-armed bandit algorithms for communication networks and healthcare
İletişim ağları ve sağlık uygulamaları için çok kollu haydut algoritmaları
- Tez No: 733314
- Danışmanlar: DOÇ. DR. CEM TEKİN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 128
Özet
Çok kollu haydutlar (ÇKH) ardışık karar verme modellerinin başında gelmektedir. En temel ÇKH modeli adaptif klinik deneylerden finansal potrföy planlamasına kadar birçok gerçek dünya uygulamasını başarı ile modellerken, farklı uygulamalar için yetersiz kalabilmektedir. Bu tezde, tip-1 diyabet tedavisinde bolus-insülin doz önerisi, bilişsel radyo ağı uygulamaları için en iyi kanal tespiti, ve çevrimiçi öneri sistemleri için üç yenilikçi ÇKH algoritması tasarlanmıştır. İlk olarak, öğrenicinin aksiyonların sonuçlarını belirli hedef bir değere yakın tutmaya çalıştığı“güvenli kontrol”problemini tanıtılmış ve bu problem için güvenlik ve performans garantileri sağlanan“ESCADA”algoritması tasarlanmıştır. ESCADA algoritmasının“güvenli kontrol”probleminde başarısı ve standart ÇKH algoritmalarının yüzeysel uzantılarına üstünlüğü deneylerle desteklenmiştir. Sonrasında, birden çok öğrenicinin aynı ÇKH oyununu oynadığı“federe çok kollu haydutlar”(FÇKH) problemi çalışılmıştır. Öğrenicilerin bir kısmının performansı düşürmeye yönelik ataklar gerçekleştiren“Bizanslı”öğreniciler olduğu senaryo göz önüne alınmış, ataklara dayanıklı“Fed-MoM-UCB”algoritması geliştirilmiş, ve etkinliği deneyler ile gösterilmiştir.“Fed-MoM-UCB”algoritmasının pişmanlık analizi yapılmış ve dayanıklılık için feragat edilmesi gereken performans garantileri tespit edilmiştir. Son olarak, öğrenicinin her turda birden fazla kol (aksiyon) seçmesi gereken“olasılıksal tetiklemeli birleşimsel çok kollu haydutlar”(OT-BÇKH) problemi çalışılmıştır. OT-BÇKH problemi için kollar arası korelasyonları kullanabilen“ComGP-UCB”algoritması tasarlanmış ve pişmanlık analizi yapılmıştır.“ComGP-UCB”algoritmasının kollar arası korelasyonun yüksek olduğu senaryolarda rakip algoritmalara üstünlüğü deneyler ile desteklenmiştir.
Özet (Çeviri)
Multi-armed bandits (MAB) is a well-established sequential decision-making framework. While the simplest MAB framework is useful in modeling a wide range of real-world applications ranging from adaptive clinical trial design to financial portfolio management, it requires further extensions for other problems. We propose three novel MAB algorithms that are useful in optimizing bolus-insulin dose recommendation in type-1 diabetes, best channel identification in cognitive radio networks, and online recommender systems. First, we introduce and study the“safe leveling”problem, where the learner's objective is to keep the arm outcomes close to a target level rather than maximize them. We propose a novel algorithm, ESCADA, with cumulative regret and safety guarantees. We demonstrate its effectiveness against the straightforward adaptations of standard MAB algorithms to the“leveling task”. Next, we study the“federated multi-armed bandit”(FMAB) problem, where a cohort of clients play the same MAB game to learn the globally best arm. We consider adversarial“Byzantine”clients disturbing the learning process with false model updates and propose a robust algorithm, Fed-MoM-UCB. We provide theoretical guarantees on Fed-MoM-UCB while identifying the certain performance sacrifices that robustness requires. Finally, we study the“combinatorial multi-armed bandits with probabilistically triggered arms”(CMAB-PTA), where the learner chooses a set of arms at each round that may trigger other arms. CMAB-PTA is useful in modeling various problems such as influence maximization on graphs and online recommendation systems. We propose a Gaussian process-based algorithm, ComGP-UCB. We provide upper bounds on its regret and demonstrate its effectiveness against the state-of-the-art baselines when arm outcomes are correlated.
Benzer Tezler
- Reinforcement learning based handover mechanism for next generation mobile communication systems
Yeni nesil mobil haberleşme sistemleri için pekiştirmeli öğrenme ile aktarım mekanizması
ÇAĞLAR FIRAT
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNA TUĞCU
- A novel scheduling strategy for priority-aware iot networks for age of information optimization
Öncelik bilinçli nesnelerin interneti ağlarında bilgi yaşı optimizasyonu için yeni dağıtım stratejisi
OĞUZHAN SAYINBAŞ
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN ANARIM
- Fully distributed bandit algorithm for the joint channel and rate selection problem in heterogeneous cognitive radio networks
Heterojen bilişsel radyo ağlarında müşterek kanal ve oran seçimi problemi için tümüyle merkezi olmayan haydut algoritması
ALIREZA JAVANMARDI
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. CEM TEKİN
- Towards more reliable medium access control with data-driven spectrum allocation
Veri tabanlı spektrum tahsisi ile daha güvenilir ortam erişim kontrolüne doğru
UMURALP KAYTAZ
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SİNEM ÇÖLERİ ERGEN
- Otomatik üretim kontrolü sistemlerine yapılan yanlış veri enjeksiyon saldırılarının torbalama ağaçları algoritması ile tespiti
Detection of false data injection attacks on automatic generation control systems with bagged trees algorithm
ATAKAN ÖZTÜRK
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. VEYSEL MURAT İSTEMİHAN GENÇ