Heterogeneity and strategic sophistication in multi-agent reinforcement learning
Çoklu etmen pekiştirmeli öğrenmede heterojenlik ve stratejik karmaşıklık
- Tez No: 889793
- Danışmanlar: DR. ÖĞR. ÜYESİ MUHAMMED ÖMER SAYIN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 128
Özet
Yapay zekâ destekli karar verme, finans, akıllı ulaşım, güvenlik ve robotik gibi sosyoteknik sistemlerde giderek yaygınlaşmaktadır. Bu nedenle, bu sistemlerde güvenilir kullanımını sağlamak için birden fazla yapay zekâ karar vericisinin birbirleriyle ve insanlar ile nasıl etkileşimde bulunduğuna dair teorik temel oluşturulması kritik bir ihtiyaçtır. Birden fazla yapay zekâ karar vericisi merkezi koordinasyon olmadan özerk olarak kararlar aldığından, algoritmalarının heterojenliği kaçınılmazdır. Belirsizlik altında çoklu etmen sıralı karar vermede heterojenliğin etkisi üzerine teorik bir çerçeve oluşturuyoruz. İlk olarak, rakiplerin sabit bir stratejiye göre oynadığını varsayarak bağımsız öğrenme algoritmalarının potansiyel heterojenliğini inceliyoruz. Bu amaçla, hayali oyun ve Q-öğrenme gibi geniş çapta incelenen dinamikleri kapsayan geniş bir algoritma ailesi sunuyoruz. Mevcut yakınsama sonuçları yalnızca her aracın aynı algoritmayı kullandığı homojen durumları ele alırken; bu algoritma ailesinin herhangi iki farklı üyesini takip ettiklerinde yine de dengeye yakınsayabileceklerini gösteriyoruz. Bu, oyun teorik denge analizinin heterojen sistemler için tahmin gücünü güçlendirmektedir. Daha sonra, stratejik olarak gelişmiş bir etmenin bağımsız öğrenme algoritmalarını nasıl manipüle edebileceğini analiz ederek, bu tür bağımsız pekiştirmeli öğrenme algoritmalarının savunmasızlığını ortaya koyuyoruz. Son olarak, bulgularımızın pratik sonuçlarını stokastik güvenlik oyunlarına uygulayarak gerçek dünya uygulamaları için potansiyelini vurguluyor ve siber fiziksel sistemlerde insan-yapay zekâ etkileşimlerinde stratejik yapay zekânın etkisini araştırıyoruz.
Özet (Çeviri)
Decision-making powered by artificial intelligence (AI) is becoming increasingly prevalent in socio-technical systems such as finance, smart transportation, security, and robotics. Therefore, there is a critical need for developing the theoretical foundation of how multiple AI decision-makers interact with each other and with humans in order to ensure their reliable use in these systems. Since multiple AI decision-makers make decisions autonomously without central coordination, heterogeneity of their algorithms is inevitable. We establish a theoretical framework for the impact of heterogeneity on multi-agent sequential decision-making under uncertainty. First, we examine the potential heterogeneity of independent learning algorithms assuming that opponents play according to some stationary strategy. To this end, we present a broad family of algorithms that encompass widely-studied dynamics such as fictitious play and Q-learning. While existing convergence results only consider homogeneous cases, where each agent uses the same algorithm; we show that they can still converge to equilibrium if they follow any two different members of this algorithm family. This strengthens the predictive power of game-theoretic equilibrium analysis for heterogeneous systems. We then analyze how a strategically sophisticated agent can manipulate independent learning algorithms, revealing the vulnerability of such independent reinforcement learning algorithms. Finally, we demonstrate the practical implications of our findings by implementing our results in stochastic security games, highlighting its potential for real-life applications, and explore the impact of strategic AI in human-AI interactions in cyberphysical systems.
Benzer Tezler
- Strategic customer behavior in service systems: Externalities, risk sensitivity and heterogeneity
Başlık çevirisi yok
HADI MAHMOUDZADEH
Doktora
İngilizce
2022
Endüstri ve Endüstri MühendisliğiKoç ÜniversitesiEndüstri Mühendisliği ve Operasyon Yönetimi
PROF. DR. AHMET FİKRİ KARAESMEN
DOÇ. DR. PELİN GÜLŞAH CANBOLAT
- KOBİ'lerde dinamik yetenekler ve stratejik yönelimlerin performans üzerine etkileri: İmalat işletmelerinde bir araştırma
The effects of dynamic capabilities and strategic orientations on SME performance: A study in manufacturing firms
ADİL İBİN
- Effects of electoral institutions and social diversity on party systems
Seçim kurumları ve toplumsal çeşitliliğin parti sistemine etkisi
AHMET ARİF GÜNAYDIN
Yüksek Lisans
İngilizce
2022
Siyasal BilimlerSabancı ÜniversitesiSiyaset Bilimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERT MORAL
- Türkiye'de üst yönetim ekiplerinin demografik ve bilişsel özelliklerinin stratejik tercihler ve firma performansına etkileri: Otomotiv yan sanayi sektörü üzerine bir uygulama
Effects of top management teams' demographic and cognitive characteristics on strategic choices and firm performance in Turkey: A study on auto supply industry
İBRAHİM TAHA DURSUN
- Yöneticilerin çevresel belirsizlik algısının stratejik liderlik davranışı üzerindeki rolü: Van Yüzüncü Yıl Üniversitesi yöneticileri üzerinde bir uygulama
The role of the perception of environmental uncertainty on strategic leadership attitude: An application on administrators of YYU
BURCU TURAN
