Hierarchical temporal memory based autonomous agent for partially observable video game environments
Kısmen gözlemlenebilir sanal oyun ortamları için hiyerarşik zamansal hafıza tabanlı otonom ajan
- Tez No: 476044
- Danışmanlar: YRD. DOÇ. DR. ELİF SÜRER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bir oyunun sunduğu tecrübede bilgisayar kontrollü karakterlerin inandırıcı olması ciddi bir önem arz etmektedir. Bu tezde gerçek zamanlı, gözetimsiz, hayat boyu öğrenme kabiliyetleri olan ve kullanıcıların etkileşimde bulunabileceği bir otonom ajan mimarisi sunuyoruz. Hiyerarşik Zamansal Hafıza ve Zamansal Farklılık öğrenmesi algoritmalarını, sinir bilim ve biyoloji araştırmaları doğrultusunda bir arada kullandık. Ajan gerçek zamanlı veri akışına sahip görsel sensörü aracılığı ile çevresinin bir modelini oluşturur. Ajanın temel amacı aksiyonları neticesinde aldığı ödüller doğrultusunda ardışık aksiyonlardan oluşan davranışlar öğrenmektir. Yöntemsel olarak oluşturulmuş, üç boyutlu ortamlarda hareket eden ajan, sürekli öğrenme halinde olup sinir ağını güncellemektedir. Ajanın sinir ağı herhangi bir anda kaydedilebilir ve geri yüklenebilir. Dolayısıyla farklı simülasyon seanslarında bile kaldığı yerden öğrenmeye devam edebilir. Farklı parametrelerle yapılan oyun içi öğrenme seanslarından derlenen veriler ile çalışma hızı, saklama, geri yükleme ve öğrenme kabiliyetleri ölçülmüştür. önerilen yöntem doğrultusunda denetime ihtiyaç duymaksızın ödül getiren davranışları öğrenme yeteneğine sahip, bilgisayar kontrollü bir karakter oluşturulmuştur. Karakter buna ek olarak kullanıcı yönlendirmeleri ile öğrenmeyi de desteklemektedir. Sonuç olarak, bu çalışmada yeni bir yaklaşım aracılığıyla bilgisayar kontrollü karakterler için gelecek vaat eden bir mimari sunulmuştur. Sinir bilim ve biyolojik kaynaklar doğrultusunda Hiyerarşik Zamansal Hafıza teorisine dayandırılarak oluşturulan bu mimari, kademeli geliştirmeye de gayet açıktır.
Özet (Çeviri)
Believable non-player characters (NPC) can have a profound impact on the experience that a video game provides. This thesis presents an online, unsupervised and lifelong learning autonomous agent that the player can interact with. It has an architecture utilizing a combination of Hierarchical Temporal Memory and Temporal Difference Learning Lambda with the guidance of neurobiological research. The agent has a visual sensor with an online data stream. Input from this sensor feeds the architecture to model the surrounding environment. The goal of the agent is to learn rewarding sequences of behavior based on the stimulation it receives caused by its actions. It navigates in a procedurally generated three-dimensional environment and is in a continuous learning state adapting the synapses of its neural connectome. The architecture is also capable of being stored and loaded at any point allowing for persistent learning through multiple simulation sessions. The study presents the learning characteristics of the agent on a video game related learning task. We compared the data collected from the experiments with varying parameters along with providing the runtime and serialization performance. The proposed methodology results in an autonomous NPC that can learn rewarding behaviors without any supervision. Moreover, it is also capable of learning specific action sequences via player guidance. The result is a promising and novel NPC architecture that is also relatively open to incremental improvements through the relevant neurobiological studies and the advancements on the theory of Hierarchical Temporal Memory.
Benzer Tezler
- Süreksiz bir düşünsel zemin olarak heterarşik kartografiler ve kamusal işgal arzuları
Heterarchic cartographies and desires for public occupation as a transient intellectual ground
SERİM AYGEN KİŞTİN
Yüksek Lisans
Türkçe
2023
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. NİZAM ONUR SÖNMEZ
- Transformer-based vision-language frameworks: A cross-domain study from video captioning to medical report generation
Transformatör tabanlı görsel-dil çerçeveleri: Video altyazılamadan tıbbi rapor üretimine disiplinlerarası bir çalışma
BENGÜ FETİLER
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN KILIÇ
- Novel centrality, topology and hierarchical-aware link prediction in dynamic networks
Dinamik ağlarda merkezilik, topoloji ve hiyerarşik tabanlı bağlanti tahmini
ABUBAKHARI SSERWADDA
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
YRD. DOÇ. ALPER ÖZCAN
- BİPOLAR BOZUKLUK TANILI ERGENLER, SAĞLIKLIKARDEŞLERİ VE SAĞLIKLI AKRANLARINDA ZAMANALGISININ ÇOK BOYUTLU DEĞERLENDİRİLMESİ VENÖROKOGNİTİF PROFİLLERLE İLİŞKİSİ
MULTIDIMENSIONAL ASSESSMENT OF TIME PERCEPTION IN ADOLESCENTSDIAGNOSED WITH BIPOLAR DISORDER, THEIR HEALTHY SIBLINGS, ANDHEALTHY PEERS, AND ITS RELATIONSHIP WITH NEUROCOGNITIVE PROFILES
SENA NAMLI
Tıpta Uzmanlık
Türkçe
2026
PsikiyatriSağlık Bilimleri ÜniversitesiÇocuk ve Ergen Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABAS HAŞİMOĞLU
PROF. DR. GÜL KARAÇETİN
- A Parallel architecture for dodb protocol processing
Dodb protokol işletimi için bir paralel mimarı
LÜTFULLAH KUŞDEMİR
Doktora
İngilizce
1994
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEMİH BİLGEN