Geri Dön

Context detection and identification in multi-agent reinforcement learning on non-stationary environments

Çok etmenli pekiştirmeli öğrenmede devingen ortamlarda bağlam değişim tespiti ve tanimlama

  1. Tez No: 741103
  2. Yazar: EKREM TALHA SELAMET
  3. Danışmanlar: DOÇ. DR. MUSTAFA BORAHAN TÜMER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Marmara Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 52

Özet

Etmenin öğrendiği ortamın durağan olması varsayımı birçok pekiştirmeli öğrenme yöntemi tarafından benimsenmiştir. Fakat, doğal ve gerçek hayat uygulamalarında ortam durağan değildir, devingendir. Devingen ortam, birçok durağan ortamın bir araya gelmesiyle oluşur. Ortam ile aynı anda birden fazla etmen etkileşim kurabilir ve etmenler de ortamın devingen hale gelmesine sebep olabilir. Pekiştirmeli öğrenme-bağlam sezme yöntemi, etmenin önsel bir bilgisi olmadan devingen ortamları öğrenmesini, bağlam değişim noktasını sezmesini ve bağlamı tanımlamasını sağlayan yaklaşımdır. Bu yaklaşımın temelinde tek etmen bulunur ve çok etmenli öğrenim için eksiklikleri bulunmaktadır. Bu çalışmada çok etmenli devingen ortamlarda; bağlam değişim noktalarını tespit eden, bağlamları tanımlayabilen ve etmenlerin ortamı öğrenmesine olanak sağlayan çok etmenli pekiştirmeli öğrenme-bağlam sezme adında yeni bir yaklaşım geliştirilmiştir. Pekiştirmeli öğrenme - bağlam sezme yöntemini temel alan bu yaklaşım; çok etmenli öğrenmede, ortam üzerindeki etmenlerden kaynaklı devingenliği sezmesi ve bağlam değişim noktasını tespit etmesi yönüyle daha verimlidir. Ortam dinamiklerinden kaynaklı bağlam değişikliklerinin yanı sıra ortamdaki etmenlerin politikalarının değişmesi sonucu oluşan bağlam değişimlerini de sezmesini sağlar. Bu çalışmadaki yaklaşımda, etmenler enerjilerini %16 daha az harcaması ve değişim noktalarını daha doğru ve erken sezmesi açısından pekiştirmeli öğrenme - bağlam sezme yöntemine göre daha verimli olduğu deney sonuçları ile gösterilmiştir.

Özet (Çeviri)

The assumption that the environment the agent learns is stationary has been adopted by many reinforcement learning methods. However, in natural and real-life applications, the environment is non-stationary. One possibility is that non-stationary environments are composed of several stationary components (i.e. context or sub-environment). More than one agent can interact with the environment at the same time, and agents can cause the environment to become non-stationary. The Reinforcement Learning - Context Detection method is an approach that enables the agent to learn non-stationary environments without prior knowledge, detects context change points, and identifies contexts. The basis of this approach is single-agent and it has shortcomings for multi-agent learning. In this study a new approach called Multi-Agent Reinforcement Learning - Context Detection has been developed that can detect context change points, identify contexts and allow agents to learn the multi-agent non-stationary environment. This approach is based on the reinforcement learning - context detection method; In multi-agent learning, it is more efficient in terms of detecting non-stationarity originating from agents in the environment and detecting context change points. In addition to the context changes caused by the environment dynamics, it also allows detecting the context changes that occur as a result of the changes in the policies of the agents in the environment. In the approach in this study, it has been shown by the experimental results that the agents spend their energy %16 less and are more efficient than the reinforcement learning - context detection method in terms of detecting the context change points more accurately and earlier.

Benzer Tezler

  1. Silah seslerinin konvolüsyonel yapay sinir ağları ile sınıflandırılması ve atıcı konum tespitinin yapılması

    Classification of weapon sounds with convolutional neural networks and detection of shooter location

    İLYAS ÖZER

    Doktora

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. OĞUZ FINDIK

  2. Bir insansız hava aracı için sistem tanılanması ve kontrolcü tasarımı

    System identification and controller design for an unmanned aerial vehicle

    LOKMAN ATİK

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AYHAN KURAL

  3. Görüntü işleme tabanlı bitki türleri ve hastalıkları tanıma

    Image processing based plant species and diseases recognition

    MUAMMER TÜRKOĞLU

    Doktora

    Türkçe

    Türkçe

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. DAVUT HANBAY

  4. Comicverse: Expanding the frontiers of ai in comic books with holistic understanding

    Comicverse: Bütünsel anlayışla çizgi romanlarda yapay zekanın sınırlarını genişletmek

    GÜRKAN SOYKAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. DENİZ YURET

    PROF. DR. TEVFİK METİN SEZGİN

  5. İnsansız su üstü deniz araçları için çarpışma regülasyonları ile uyumlu, dinamik, optimal çatışmadan sakınma rotası planlaması

    Dynamic, colregs-compliant, optimal collision avoidance path planning method for unmanned surface vehicle

    BURAK ALPTEKİN

    Doktora

    Türkçe

    Türkçe

    2024

    DenizcilikYıldız Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NİHAN KAHRAMAN