An LLM-driven framework for automatic curriculum learning to enhance generalization in open-ended reinforcement learning
Açık uçlu pekiştirmeli öğrenmede genelleme yeteneğini artırmaya yönelik, büyük dil modeli tabanlı otomatik müfredat öğrenimi çerçevesi
- Tez No: 1005542
- Danışmanlar: DOÇ. DR. ELİF SÜRER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Enformatik Ana Bilim Dalı
- Bilim Dalı: Modelleme ve Simülasyon Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Pekiştirmeli Öğrenme araştırmaları, uzun zamandır genelleştirmeyi elde etme arayışındadır. Kıyaslama ortamları, bu zorlu görevi başarmak adına yıllar içinde kademeli olarak evrimleşmiştir. Ortamların daha karmaşık ve genelleştirme odaklı hale gelmesi, Açık Uçlu Öğrenme (OEL) gibi yeni araştırma alanlarını ortaya çıkarmıştır. OEL, ortamda sunulan her bir durum için gerekli olabilecek ya da olmayabilecek geniş bir beceri setinin bulunduğu öğrenme kurgularının incelenmesidir. Bu karmaşık ortamlar, ortamı ezberlemek yerine genelleştirilmiş beceriler öğrenebilen politikaları zorunlu kılmıştır. Otomatik Müfredat Öğrenimi (ACL) gibi yöntemlerin geliştirilmesiyle birlikte, bu zorlu görev daha erişilebilir hale gelmiştir. Bu tezin odak noktası, Büyük Dil Modellerinin (LLM) bir ACL yöntemi olarak kullanımına dair Uyarlanabilir Akıl Yürütme Müfredatı (ARC) adında standartlaştırılmış bir yaklaşımı; özgün, yüksek performanslı, örneklem verimli ve tekrarlanabilir bir şekilde sunmak ve bu yöntemi en gelişmiş devasa çok-ajanlı OEL ortamı olan Neural MMO 2 üzerinde doğrulamaktır. Deney sonuçları; ARC çerçevesinin, hem ortalama getiri hem de örneklem verimliliği açısından, uzmanlar tarafından hazırlanan müfredatı ve çeşitli ACL yöntemlerini geride bıraktığını göstermektedir. Yardımcı araçlar, bir gösterge paneli ve bir doğrulama aracı, ile desteklenen ARC çerçevesi; açık kaynaklı, standartlaştırılmış ve paylaşılabilir adaptörler, orkestratörler ve deney dosyaları aracılığıyla, LLM destekli OEL araştırmalarını tüm araştırmacılar ve meraklılar için erişilebilir kılmayı amaçlamaktadır.
Özet (Çeviri)
Reinforcement Learning research has long sought to achieve generalization. The benchmark environments gradually evolved over the years to achieve this demanding task. As environments became more complex and generalization-oriented, this introduced new research fields, such as Open-Ended Learning (OEL). OEL is the study of learning settings in which a large set of skills exists, some of which may or may not be required for each situation represented in the environment. These complex environments necessitated policies that did not memorize environments but learned generalized skills. With the development of methods like Automated Curriculum Learning (ACL), this challenging task became more achievable. The focus of this thesis is to introduce a standardized way to use Large Language Models (LLMs) as an ACL method, called Adaptive Reasoning Curriculum (ARC), in a novel, high-performing, sample-efficient, and reproducible manner, and to demonstrate the method's effectiveness in a state-of-the-art massively multi-agent OEL environment, Neural MMO 2. The results of the experiments show that the ARC framework outperforms both an expert curriculum and several ACL methods across average return and sample efficiency. With auxiliary helper tools, a dashboard, and a validation tool, ARC framework aims to make OEL research with LLMs available to all researchers and enthusiasts through open source, standardized, and shareable adapters, orchestrators, and experiment files.
Benzer Tezler
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. SEFER BADAY
- Türkçe e-ticaret yorumlarında transformer tabanlı duygu analizi
Transformer-based sentiment analysis on Turkish e-commerce reviews
MUHAMMET ŞAMİL İKİZOĞLU
Yüksek Lisans
Türkçe
2026
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUNCAY ÖZCAN
- An artificial intelligence based frameworkfor fraud detection in cloud call centers forlow-resourced languages Arabic as a use case
Kullanım örneği olarak düşük kaynaklı Arapça dilleri için bulut çağrı merkezlerinde sahtecilik tespitine yönelik yapay zeka tabanlı bir çerçeve
HANA'A MARATOUQ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR SARISARAY BOLUK
- Contract-based automated testing framework for event-driven microservices utilizing large language models
Büyük dil modellerini kullanan olay odaklı mikroservisler için sözleşme tabanlı otomatik test çerçevesi
BURAK TUTUMLU
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji EnstitüsüBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUĞKAN TUĞLULAR
- A large language model (LLM)-based framework for bid/no-bid decision support in construction public procurement: Validated on romanian tenders
İnşaat kamu ihalelerinde teklif verme / vermeme karar desteği için büyük dil modeli (LLM) tabanlı bir çerçeve: Romanya ihaleleri üzerinde doğrulama
ELİF GÜLİN PETEK
Yüksek Lisans
İngilizce
2026
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR BEHZAT TOKDEMİR