Analysis of meta-gradient incentive algorithm for cooperative behavior in social dilemma problems
Sosyal ikilem problemlerinde işbirlikçi davranış için meta-gradient teşvik algoritması analizi
- Tez No: 773984
- Danışmanlar: DOÇ. DR. NAZIM KEMAL ÜRE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Savunma Teknolojileri Bilim Dalı
- Sayfa Sayısı: 57
Özet
Birden çok temsilcinin bulunduğu paylaşımlı ortamlarda, temsilcilerin toplam ödülü en üst düzeye çıkarmak ve görevleri tamamlayabilmek için işbirliği içinde hareket etmesi beklenir. Ancak, temsilcilerin kendi çıkarları doğrultusunda hareket etmesi, bu ortamlarda işbirliği yapılmasını zor bir hale getirir. Başlangıçta araştırmacılar, çok temsilcili pekiştirmeli öğrenme problemleri için işbirlikçi politikalar geliştirmeye odaklandı. İşbirlikçi politikalar ile öğrenme, temsilcilerin kendi politikalarını birbirleriyle paylaşmalarını gerektirir ki bu her zaman mümkün olmayabilir. Alternatif bir diğer yaklaşım, temsilciler ve ortamları hakkında ayrıntılı bilgiye sahip olmaya dayanan merkezi öğrenmeyi içerir. İlk olarak kendi oluşturduğumuz ortamda temsilcilerin davranışlarını incelemek için merkezi bir öğrenme methodu olan Multi Agent Proxy Proximal Policy Optimization algoritmasını uyguladık. Ortamdaki görev, düşman güçlerinin olabildiğince çabuk ortadan kaldırılmasını içermektedir. Temsilcilerin bu amaca ulaşmak için işbirliği yapmaları gerekmektedir. Ancak bu tür askeri senaryolarda temsilcilerin hedefleri çalışabilir ya da stratejik kararlar alması gerekebilir. Bu durumda sosyal ikilemler ortaya çıkar. Sosyal ikilem durumunda temsilcilerin birlikte hareket etmesini sağlamak için teşvik edici ödül verme yöntemi uygulanabilir. Temsilcilerin iş birliği yapmasını sağlayan eylemler ödüllendirilerek, temsilcilerin kendi çıkarlarından ziyade takım çalışmasını ön planda tutmayı öğrenmesi sağlanabilir. Learning to Incentivize Others (LIO), temsilcilerin işbirliği sağlayacak davranışlarda bulunduğunda teşvik ödülü veren bir algoritmadır. Bu çalışmada LIO'nun dayanıklık analizi, farklı şartlar altında Cleanup ortamında yapılmıştır. Amaç, LIO'nun hasass noktalarını belirlemek ve meta-gradient tabanlı teşvik edici öğrenme algoritmasını geliştirmek için bilgi elde edinmektir. Bu tezde iyileştirme gerektiren alanları belirlemek için kapsamlı bir analiz yapılmaktadır.
Özet (Çeviri)
In shared environments, agents are expected to act cooperatively to maximize rewards and achieve objectives. However, it remains as a challenge and an open research problem for self-interested agents to behave cooperatively in Multi-Agent Deep Reinforcement Learning (MARL) environments. Initially, research into multi-agent reinforcement learning focused on developing cooperative policies. However, this requires agents to share their policies with each other, which is sometimes not feasible. An alternative approach involves centralized learning, which relies on having detailed knowledge of agents and their environments. We applied Multi-Agent Proxy Proximal Policy Optimization (MAPPO), a centralized learning method, to investigate the behavior of centralized agents in a custom environment. The environment's objective is to eliminate hostile forces as quickly as feasible. Agents need to collaborate in order to reach the desired outcome. During such military tasks, agents may make strategic decisions or have conflicting objectives. This results in social dilemmas. Rewards and penalties can be utilized to incentivize cooperation when dealing with sequential social dilemmas (SSDs). These incentives can assist agents in learning to cooperate by rewarding them for actions that lead to cooperative outcomes. Learning to Incentivize Others (LIO) is a reward-shaping approach, which uses incentive rewards to encourage cooperation between agents. We analyze the robustness of LIO in the public good game Cleanup under different configurations. Our goal is to identify the sensitive points of LIO and provide insights to enhance meta-gradient based incentive learning. Our primary contribution is to carry out a comprehensive analysis to pinpoint the areas that most require improvement.
Benzer Tezler
- Enerji ihtiyacının karşılanmasında doğalgaz ve rüzgâr kaynaklı enerji çevrim santralleri; yatımlar üzerine stratejik bir analiz
Natural gas and wind based cycle plant in supplying the needs of energy reguirement; a strategic analysis on investments
GÜVEN KARAMAN
Yüksek Lisans
Türkçe
2015
İşletmeOrdu ÜniversitesiYenilenebilir Enerji Ana Bilim Dalı
YRD. DOÇ. DR. KADİR AKSAY
- Doğu Karadeniz Bölgesi'ndeki amatör balıkçılığın sosyo ekonomik analizi
Socio-economic analysis of amateur fishing in the Eastern Black Sea region
MUHAMMET KARAPİÇAK
Yüksek Lisans
Türkçe
2015
Balıkçılık TeknolojisiOrdu ÜniversitesiBalıkçılık Teknolojisi Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET AYDIN
- Bazı Türkiye Dianthus L. (Caryophyllaceae) taksonları üzerine karyolojik çalışmalar
The karyological studies of some Dianthus L. (Caryopyllaceae) taxa
EMİNE ŞAHİNER
- Onkojenik Hpv genotiplerinin Pcr-elisa yöntemi ile saptanması
Detection of oncogenic hpv genotypes by Pcr-Elisa assay
ALPER KANDİŞER
Tıpta Uzmanlık
Türkçe
2007
MikrobiyolojiAkdeniz ÜniversitesiTıbbi Mikrobiyoloji Ana Bilim Dalı
PROF. DR. MERAL GÜLTEKİN
- İşletmelerde finansal başarısızlık tahminlemesi ve Borsa İstanbul'da faaliyet gösteren gıda şirketlerinde uygulama
Financial distress forecasting in businesses and application in food companies operating in stock exchange Istanbul
KEREM URAL