Robotikte üretken yapay zeka: Akıl yürütme yapan Büyük Dil Modellerinin kullanımı
Generative AI in robotics: The use of reasoning Large Language Models
- Tez No: 969546
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA EMRE AKÇAY
- Tez Türü: Yüksek Lisans
- Konular: Savunma ve Savunma Teknolojileri, Mekatronik Mühendisliği, Defense and Defense Technologies, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Sivas Bilim ve Teknoloji Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük Dil Modelleri (Large Language Models, LLM'ler), özellikle Görme-Büyük Dil Modelleri (Vision-Language Models, VLM'ler) tanıtıldığından bu yana, robotik alanında – özellikle algı ve kavrama konularında– heyecan verici yeni olanakların önünü açmıştır. Bu çalışmada, VLM'lerin açık nesne ve görüntü kümelerini anlama ve tanımlama yeteneklerinin yanı sıra yapılandırılmış çıktı üretme kapasitelerinin robotik sistemlerin yeteneklerini nasıl geliştirebileceği araştırılmaktadır. Bu kapsamda, bir VLM'in robot kol kontrol sistemi içerisine entegrasyonu gerçekleştirilmiş ve yalnızca insan-robot etkileşimini geliştirmekle kalmayıp, aynı zamanda robotların çevresel verileri yorumlama yeteneklerini artıracak bir yapı ortaya konmuştur. Çalışmanın temel amacı, robotlara karmaşık senaryolarda görsel ipuçlarını algılama, nesneleri daha isabetli bir şekilde tespit etme ve izleme, buna uygun eylemleri belirleme yetisi kazandırmaktır. Önerilen sistemde, VLM görsel girdileri analiz ederek anlamsal bir düzlemde eylem planı oluşturmakta ve bu plan, robot koluna belirli hareketler için komut vermek amacıyla tanımlı araç işlevleri kullanılarak düşük seviyeli komutlara dönüştürülmektedir. Sistemin performansını değerlendirmek amacıyla bir dizi nesne sıralama deneyi gerçekleştirilmiştir. Ayrıca sistemin çoklu ajan iş akışına uyarlanabilirliği de araştırılmış ve bu kapsamda, takip performansında yaklaşık beş katlık bir artış elde edilmiştir. Elde edilen bulgular, sağlam ve akıllı robotik kontrol sistemleri geliştirmek adına LLM yeteneklerinin kural tabanlı sistemlerle entegrasyonunun yüksek potansiyele sahip olduğunu göstermektedir. Bu çalışma, robotik manipülasyon alanında VLM tabanlı yaklaşımlara katkı sunmakta ve daha akıllı, çevik ve uyarlanabilir robot sistemlerinin geliştirilmesi yönünde önemli bir adım teşkil etmektedir.
Özet (Çeviri)
Large Language Models (LLMs), particularly since the introduction of Vision-Language Models (VLMs), have opened up exciting new possibilities in the field of robotics— especially in the areas of perception and manipulation. This study investigates how the capabilities of VLMs, such as understanding and describing open sets of objects and images and generating structured outputs, can enhance robotic systems. In this context, a VLM has been integrated into a robotic arm control system, going beyond merely bridging the communication gap between humans and robots. The primary aim of this work is to enable robots to interpret visual cues in complex scenarios, allowing them to detect and track objects more accurately and to determine appropriate actions accordingly. In the proposed system, the VLM serves as a cognitive core by analyzing visual inputs and formulating an action plan within a semantic space. This plan is then translated into precise robot commands using predefined functional tools, which direct the robotic arm to perform specific movements. To evaluate the system, a series of object-sorting experiments were conducted. Furthermore, the system was adapted to a multi-agent workflow, resulting in a notable fivefold improvement in tracking performance. The findings highlight the significant potential of combining LLM capabilities with rulebased systems to achieve robust and intelligent robotic control. By contributing to the growing body of research on VLMs for robotic manipulation, this study paves the way for the development of smarter and more adaptive robotic systems.
Benzer Tezler
- Way-Tu: A framework for tool selection and manipulation using waypoint representations
Way-Tu: Yol noktaları kullanarak araç seçimi ve manipülasyonu için bir yaklaşım
ECE KUNDURACIOĞLU
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SALİH ÖZGÜR ÖĞÜZ
- Sorgulayıcı öğrenme yaklaşımında üretken yapay zekâ kullanımının eğitsel robotikler bağlamında incelenmesi
Examining the use of gen-AI in the context of educational robotics within the inquiry learning approach
ATİLA ŞİMŞİT
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimTrabzon ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
PROF. DR. ÜNAL ÇAKIROĞLU
- Enhancing financial document processing: A synergetic approach with RPA and generative AI
Finansal belge işlemenin geliştirilmesi: RPA ve üretken yapay zeka ile sinerjik bir yaklaşım
HAMZA ACHOUBIR
Yüksek Lisans
İngilizce
2023
Bilim ve TeknolojiBahçeşehir ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
assist. Prof. Dr. SELİN NACAKLI
- A case study on the use of AI-generated music in video game development
Video geliştirme sürecinde yapay zeka ile üretilen müziklerin kullanımına ilişkin bir vaka çalışması
ÜLKÜ NUR NAR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı (disiplinlerarası)
DR. ÖĞR. ÜYESİ OZAN SARIER
- Yapay zekânın siber terörizm üzerindeki etkisi
The impact of artificial intelligence on cyber terrorism
CUMALİ CEM DOĞAN
Yüksek Lisans
Türkçe
2025
Kamu Yönetimiİnönü ÜniversitesiGüvenlik ve Terör Bilim Dalı
DR. ÖĞR. ÜYESİ EMİN GİTMEZ