Geri Dön

Effective subgoal discovery and option generation in reinforcement learning

Pekiştirmeli öğrenmede etkili alt hedef bulma ve opsiyon oluşturma

  1. Tez No: 457344
  2. Yazar: ALPER DEMİR
  3. Danışmanlar: PROF. DR. FARUK POLAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2016
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 72

Özet

Alt hedef bulma, pekiştirmeli öğrenmede, problem büyüklüğüyle başa çıkma konusunda kendini kanıtlamış önemli bir yaklaşımdır. Alt hedefler problemin, alt problemlere bölünmesi konusunda ipucu verir. Bu alt hedeflerin öğrenmenin erken aşamalarında bulunmaları, öğrenen ajanın her bir alt problemi ayrı ayrı çözmesine olanak sağlar ve öğrenme hızını arttırır. Markov Karar İşlemi olarak modellenmiş bir problemde, alt hedefler, ajanın bulunduğu diğer durumlara göre farklı özellikler taşır ve bu özellikler keşfedilmelerine olanak sağlar. Ajanın, bulunmuş bir alt hedefe yönelmesi için, opsiyon sistemi ortaya atılmıştır. Opsiyon sistemi, öğrenen ajana bulunmuş bir alt hedefe gitmek için bir yetenek kazandırır. Alandaki birçok çalışma, bu opsiyonların gideceği alt hedefleri bulma konusuna odaklanmış olup çalışmalar istatistik tabanlı ve grafik tabanlı olmak üzere ikiye ayrılır. Opsiyon oluşturma aşamasını geliştirme konusunda görece daha az çalışma bulunmaktadır. Bu çalışmada, problem hakkında kısmi bilgi ile çalışan verimli bir alt hedef bulma yöntemi sunulmuştur. Bu yöntem, alandaki diğer yöntemlerin aksine, daha düşük zaman karmaşıklığına sahiptir ve problem ile alakalı fazladan bir parametreye ihtiyaç duymamaktadır. Ayrıca bu tezde, opsiyon oluşturma aşaması için daha gelişmiş bir yaklaşım ortaya atılmıştır. Bu yaklaşım, opsiyon tanımını, opsiyonun kullanılmasının faydalı olacağı durumlar ile sınırlandırıp opsiyonları ana hedefe yönlendirir. Bu sayede, daha etkili opsiyonlar üretilir.

Özet (Çeviri)

Subgoal discovery is proven to be a practical way to cope with large state spaces in Reinforcement Learning. Subgoals are natural hints to partition the problem into sub-problems, allowing the agent to solve each sub-problem separately. Identification of such subgoal states in the early phases of the learning process increases the learning speed of the agent. In a problem modeled as a Markov Decision Process, subgoal states possess key features that distinguish them from the ordinary ones. A learning agent needs a way to reach an identified subgoal, and this can be achieved by forming an option to reach it. Most of the studies in the literature focus on finding useful subgoals by employing statistical methods and graph-based methods. On the other hand, there are few studies working on how to improve the process of forming options. In this thesis, an efficient subgoal discovery making use of local information is proposed. Unlike other methods, it has lower time complexity and does not require additional problem specific parameters. Furthermore, a better heuristic for forming options is proposed. It focuses on collecting a set of states that an option is really useful to employ from, leading to more effective options.

Benzer Tezler

  1. Üniversitelerin lisans programlarında uygulanan çekirdek programın değerlendirilmesi

    Evaluating core curriculum implemented at undergraduate programmes of universities

    ELİF İLHAN

    Doktora

    Türkçe

    Türkçe

    2018

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. NURDAN KALAYCI ATAY

  2. EMDD-RL: Faster subgoal ıdentification with diverse density in reinforcement learning

    EMDD-RL: Pekiştirmeli öğrenmede ayrı yoğunluk yöntemiyle daha hızlı alt hedef bulma

    SAİM SUNEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FARUK POLAT

  3. Improving reinforcement learning using distinctive clues of the environment

    Çevreden gelen belirgin ipuçlarını kullanarak pekiştirmeli öğrenmeyi geliştirme

    ALPER DEMİR

    Doktora

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FARUK POLAT

    DR. ERKİN ÇİLDEN

  4. Süreç yönetimi ve risk analizi ilişkisi: Bir eğitim kurumu örneği

    Relationship between process management and risk assessment: Case study of an education institute

    TÜLİN KAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimDokuz Eylül Üniversitesi

    Toplam Kalite Yönetimi Ana Bilim Dalı

    DOÇ. DR. HÜLYA KURGUN

  5. Ziyaretçilerin etkinliklere katılım güdülerinin etkinlik türüne göre karşılaştırılması: İzmir ili örneği

    Comparison of visitors' motivations of participating in events in accordance with type of events: Example of Izmir

    CEYDA LALE

    Yüksek Lisans

    Türkçe

    Türkçe

    2012

    TurizmDokuz Eylül Üniversitesi

    Turizm İşletmeciliği Ana Bilim Dalı

    DOÇ. DR. EBRU GÜNLÜ