Geri Dön

High-level representations through unconstrained sensorimotor learning

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 663641
  2. Yazar: ÖZGÜR BARAN ÖZTÜRKÇÜ
  3. Danışmanlar: PROF. DR. ERHAN ÖZTOP
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Özyeğin Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 46

Özet

Canlı organizmalar, özellikle memeliler basit planlama gerektiren alet kullanımı ve maniplasyon gibi karmaşık görevleri yerine getirmede ustadırlar. Bu yetenek, merkezi sinir sistemi tarafından, özellikle de aksiyon ve algı için alt seviye sinyal işleme gerçekleştiren nöral devrelerden gelişen beyin tarafından ortaya konmaktadır. Yapay sistemler, temel algılama ve aksiyon alma gerektiren görevler için alt seviye sinyal işlemeyi öğrenebilir. Özellikle pekiştirmeli öğrenme (RL), bir aktörün sensör deneyimi ile bir dizi aksiyon alması ve çevreden dönen“ödülleri”toplayarak belirli bir görevi yerine getirmek için gerekli karar mekanizmasını (policy) oluşturduğu öğrenme şeklidir. Daha gelişmiş hayvanların karmaşık görevleri gerçekleştirme yetenekleri, öğrenme sırasında alt seviye sinir devrelerinin sensör deneyimi döngüsüne dayalı olarak oluşturulan soyutlamalar ile gerçekleştirilir. Benzer bir şekilde bir RL aktörünün öğrenme deneyimi, sembol benzeri yapılar olusturularak, sembol ile planlama gibi karmaşık görevleri yerine getirmesini sağlamak amacı için kullanılabilir. Bu tür yüksek seviyeli yapıların ortaya çıkışı ve bunların çevre ve aktör dinamikleri ile ilişkileri, öğrenme sırasında nöron çıktıları ve muhtemel farklı ortamlarda konuşlandırılmasının analiz edilmesi ile ortaya çıkartılabilir. Literatürde pek çok çalışma bu sembollerin halihazırda var olduğu varsayımı ile başlar ve bu sembolleri sürekli motor sensör çıktıları üzerine oturtur. Diğer bir yaklaşım ise bu sembollerin ortaya çıkmasını sağlamak amacı ile özel olarak dizayn edilmiş sinir ağları kullanmaktır. Bu tez çalışmasında ise dinamik bir görevi öğrenen bir derin pekiştirmeli öğrenme sisteminin üst seviye bir sinirsel yapı oluşturma olasığı incelenmiştir ki bu yapılar sembolik temsillerin öncülleri olarak düşünülebilir. Deneylerimiz için, görevi hız vektörüne bağlı bir bozucu kuvvet altında ayağa kalkmayı öğrenmek olan simüle edilmiş bir robot kullandık. Simule edilmiş nöronlardan oluşan ayağa kalkma mekanizması bir sinir ağı ile öğrenilebilir ve temsil edilebilir. Deneylerimizde böyle bir sinir ağının çıktıları öğrenme sırasında ve sonrasında farklı ortamlarda kaydedilmiştir. Kaydedilen veriler daha sonra üst seviye soyut temsillerin oluşumu ve bunların görev dinamikleri ile ilişkilerini tespit etmek için incelenmiştir. Sonuçlar, soyut yapılar için özel bir tasarım kullanmadan, sembol benzeri gösterim olarak görülebilecek ilgi çekici sinir çıktılarının oluşabileceğini göstermiştir.

Özet (Çeviri)

Living organisms, in particular mammals are adept at learning complex tasks that may require basic planning such as tool use and manipulation. This ability is manifested by the central nervous system; in particular by the brain, which has evolved from neural circuits that perform low level signal processing for action and perception. Artificial systems can learn to perform low level signal processing for tasks requiring basic perception and action. A particular learning mechanism for this is Reinforcement Learning (RL), in which the sensorimotor experience of an agent that involves a sequence of action decisions and returned 'rewards' from the environment are used to build a 'policy' for a given task. The complex task execution capabilities of higher-level animals may be facilitated by the abstractions formed based on the sensorimotor life cycle of lower-level neural circuits during learning. In a similar vein, the learning experience of an RL agent can be used to form symbol-like structures to enable more complex task executions, by for example explicit planning in symbolic space. The emergence of such high-level structures and their relationship with the environment and the agent dynamics may be revealed by analyzing the neural outputs during learning and actual deployment in different environments. In the literature, there are a range of studies that start by assuming the existence of symbolic structures that 'ground' them onto continuous sensorimotor signals experienced by the agent. In addition, many works aim to facilitate the emergence of symbol-like representations by using specially designed machine learning architectures. In this thesis, we take a different approach and investigate whether a deep reinforcement learning system that learns a dynamic task would facilitate the formation of high-level neural representations that might be considered as precursors of symbolic representations. For our experiments, we use a simulated robot whose sole task is to learn a policy to stand up under velocity dependent force perturbations. The policy is represented and learned by a neural network that is composed of simulated neurons whose responses are recorded during learning and, later, when testing the policy in different environments. The recorded data are then analyzed to detect formation of high-level abstract representations and their relations to the task dynamics. The results indicate that without even explicit design to promote abstract representations, intriguing neural responses emerge via learning, which may serve as the basis of abstract symbol-like representations.

Benzer Tezler

  1. Tez No

    856275

    Design and deployment of deep learning based fuzzy logicsystems

    Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması

    AYKUT BEKE

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUFAN KUMBASAR

  2. Tez No

    231915

    Unsupervised learning of high-level invariant visual representations through temporal coherence

    Zamansal uyumluluk yoluyla yüksek-düzey değişmez görsel temsillerin denetim olmaksızın öğrenilmesi

    AHMED EMİN ORHAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2008

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    PROF. DR. ETHEM ALPAYDIN

  3. Tez No

    652345

    1990'lardan 2000'lere Türk televizyon dizilerinde değişen suçlu temsilleri

    Changing representations in Turkish television series from the 1990s to the 2000s

    KIVANÇ EKŞİOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Radyo-TelevizyonMarmara Üniversitesi

    Radyo Televizyon ve Sinema Ana Bilim Dalı

    PROF. DR. YUSUF DEVRAN

  4. Tez No

    880237

    Multi-object graph symbol network: Goal-oriented planning through learned compound object symbols

    Çok nesneli çizge sembol ağı: Öğrenilmiş bileşik nesne sembolleri aracılığıyla hedef odaklı planlama

    GÜLSÜM TUBA ÇİBUK GİRGİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. EMRE UĞUR

  5. Tez No

    868662

    Aile değerleri ve kadının toplumsal konumunun Türk toplumu ve dizileri üzerinden analizi

    Analysis of family values and social position of women through Turkish society and serials

    FARRUKH HASANOV

    Doktora

    Türkçe

    Türkçe

    2024

    Radyo-TelevizyonMarmara Üniversitesi

    Radyo Televizyon ve Sinema Ana Bilim Dalı

    PROF. DR. AYŞE KONCAVAR

Geri Dön