Context-aware Markov decision processes
İçerikten-haber Markov karar süreçleri
- Tez No: 368853
- Danışmanlar: PROF. DR. FARUK POLAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2014
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Bölümü
- Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: 69
Özet
1990'lı yıllarda yapay zeka (YZ) tekrar önemli bir araştırma alanı olunca, araştırmacılar“nihai problemi”, insan seviyesinde zekaya sahip olan otonom vekiller geli ştirme problemini, çözmeye çalışmaktan vazgeçmişlerdir. Günümüzde, araştırmanın çok önemli bir kısmı, seçilen belli bir alandaki problemleri çözmeye özelleşmiş otonom vekiller geliştirmeye odaklanmıştır. Her ne kadar ödüllü öğrenmende (ÖÖ) mevcut olan model ve algoritmaları, Markov Karar Süreçleri (MKS) gibi, bu tip özelle şmiş problemler için optimal veya yakın-optimal poliçeler üretmekte başarılı olsalar da, ne yazık ki, yöneylem araştırması alanından çıkmış olan ve YZ ye özelleşmiş olmayan bu araçlar, verilen bir problemin içinde kullanılmaya elverişli olan bilgiyi kullanmayı ihmal ederler, bu da onları YZ'ye uygun bir model olmaktan aslında çok uzaklaştırır. Bunlar problemin yapısal olmayan şekilde tarifine neden olup, bu da bu araçların durum uzayı genişledikçe, daha gerçekçi problemlerde olduğu gibi, kullanılabilir bir poliçe üretmelerinde daha az efektif olmalarına yol açar. Eğer daha büyük sayıda durumu olan daha gerçek hayata yakın problemlerin içindeki bilgiyi kullanıp onları çözmeyi ve optimal veya yakın-optimal poliçeler bulmayı imkanlı kılmasını sağlayacak yeni durum makinaları bulunursa YZ konusunda bir kilometre taşı geçilmi ş olacak. Eğer bu başarıyla yapılabilirse, araştırmalar YZ'nin nihai amacının yerine getirilmesinde bir adım daha yaklaşmış olacak. Bu güdüden hareketle bu tez, daha gerçekçi YZ problemlerini sunmak ve onlara çözümler üretmek için MKS temelli“˙Içerikten-Haber Markov Karar Süreci (˙IH-MKS)”isimli yeni bir durum makinası sunmaktadır. Bu sebeple, ˙IH-MKS, MKS'ye kıyasla, MKS'nin verimli çözmekte ba- şarısız olduğu çok büyük sayıda durumları olan problemler için bile, görevlerin kompakt sunumu ve optimal poliçeyi daha verimli hesaplamak için, bilgi olarak durum ve hareketlerin nedensel ilişkilerini ileri sürer, bu da onun bir YZ probleminde kullanışlı olan bilgiyi onun tarifi ve çözümüne ilave edilmesi için önemli bir adım olmasını sağlayacaktır. Yeni durum makinamızın kuramsal bir tanıtımından sonra, analizleri yapılacaktır. En sonunda, modelimizin etkililiği, diğer modellerle karşılaştırıp deneysel olarak sonuca varılarak, sunulacaktır.
Özet (Çeviri)
In the 1990s, when artificial intelligence (AI) research become an important area again, researchers quitted trying to solve the ultimate problem, generating autonomous agents with“human-level intelligence”. Currently, significantly important part of the research is highly focused on developing autonomous agents particularly dedicated to solve problems only in a chosen domain. Even though models and algorithms provided in reinforcement learning (RL), such as Markov Decision Processes (MDP), are successful at efficiently determining optimal or near optimal policies for these problems, however, these tools, originated from operations research and not customized particularly for AI, ignore using the available information in a given problem which indeed makes them far away from being a suitable model for AI. This leads unstructured representation of that problem which makes these tools significantly less efficient at determining a useful policy as the state space of a task grows, which is the case for more realistic problems.A milestone will be achieved in AI if new state machines are invented that use the information in a given task enabling generate optimal or near-optimal policies up to more realistic tasks having large number of states.If this is successfully achieved, the research will be one step closer to fulfill the ultimate aim of AI. Based on this motivation, this thesis presents a new state machine, based on MDP, for representing and solving more realistic AI problems which is entitled“Context-Aware Markov Decision Process (CA-MDP)”. For that matter, CA-MDP, in comparison to MDP, introduces information based on causal relationship of actions and states therefore enabling compact represention of the tasks and computation of an optimal policy much more efficiently, even for problems having very large number of states that MDP fails to solve efficiently which will make it an important step in integrating the information available to both representation and solution of an AI problem. After a theoretical introduction of the new state machine, an analysis is carried out. Finally, the effectiveness of the model is demonstrated experimentally, concluding with a comparison to existing models.
Benzer Tezler
- A context-aware model for stochastic planning in environments with hidden states
Saklı durumları olan ortamlarda stokastik planlamaiçin bağlam-farkındalığı olan model
ÖMER EKMEKCİ
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FARUK POLAT
- Order dispatching via deep reinforcement learning
Başlık çevirisi yok
ERAY MERT KAVUK
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞE TOSUN KÜHN
- Age aware power allocation for energy-efficient wireless networksusing RSMA
RSMA kullanan enerji-verimli kablosuz ağlar için bilgi yaşına duyarlı güç tahsisi
SELİN AKYÜREK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. EZHAN KARAŞAN
- Traffic and mobility aware delay modeling for software-defined networks (SDN)
Yazılım tanımlı ağlar için trafik ve hareket duyarlı gecikme modeli
MÜGE ÖZÇEVİK
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BERK CANBERK