Geri Dön

Bilinmeyen ortamda hedef odaklı robot navigasyonu için derin pekiştirmeli öğrenme tabanlı dikkat mekanizmalarının karşılaştırmalı analizi

Comparative analysis of attention mechanisms based on deep reinforcement learning for goal oriented robot navigation in unknown environments

PDF İndir

  1. Tez No: 970555
  2. Yazar: ASLI YİĞİT
  3. Danışmanlar: DR. ÖĞR. ÜYESİ ALPASLAN BURAK İNNER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Kocaeli Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bu tezde, bilinmeyen ortamlarda görev yapan robotun hedef odaklı navigasyon problemi incelenmiştir. Bu kapsamda, Derin Pekiştirmeli Öğrenme (Deep Reinforcement Learning - DRL) algoritmalarından Soft Actor-Critic (SAC), çeşitli Transformer tabanlı dikkat mekanizmalarıyla bütünleştirilerek performans açısından değerlendirilmiştir. Literatürde farklı görevlerde başarı göstermiş olan Big Bird, Linformer, Linear Transformer, Longformer, Nyströmformer, Performer, Reformer, Routing Transformer, Sparse Transformer, Synthesizer ve klasik Transformer gibi dikkat yapıları bu çalışmada hedef odaklı navigasyon bağlamında karşılaştırmalı olarak test edilmiştir. Ek olarak, aktivasyon fonksiyonu düzeyinde Relu, Gelu ve Mish fonksiyonlarının performansı üzerindeki etkileri analiz edilmiştir. Simülasyon ortamında yapılan testlerde, robotun çarpışmadan hedefe ulaşması amaçlanmış ve her model hem statik hem de dinamik çevresel koşullar altında test edilmiştir. Performans ölçütü olarak toplam ödül, hedefe ulaşım oranı, çarpışma sayısı, gidilen mesafe ve eğitim süresi gibi metrikler kullanılmıştır. Statik ortam testlerinde Reformer-SAC-Relu ve Longformer-SAC-Mish modelleri; yüksek ödül değeri, düşük çarpışma oranı ve kısa eğitim süresi ile başarılı performans göstermiştir. Dinamik ortamda ise Linformer-SAC-Gelu ve Linformer-SAC-Mish modelleri, daha kararlı öğrenme eğrileriyle öne çıkmıştır. Bu modeller, hedef vektörünün dikkat yapısına entegrasyonu sayesinde hedefe yönelik dikkat mekanizması oluşturmuş ve bu yönüyle literatüre özgün katkı sunmuştur. Bu çalışma ile DRL tabanlı algoritmaların Transformer modelleriyle entegrasyonu detaylı şekilde değerlendirilmiş ve dikkat yapılarının robot navigasyonundaki etkileri ortaya konmuştur. Elde edilen bulgular, hedef yönelimli dikkat mekanizmalarının karar verme sürecini iyileştirdiğini göstermektedir. Geliştirilen modellerin, otonom robotların keşif, haritalama öncesi gezinme ve acil durum görevleri gibi uygulamalarda etkin biçimde kullanılabileceği öngörülmektedir.

Özet (Çeviri)

This thesis investigates the goal-oriented navigation problem of a robot operating in unknown environments. In this context, the Deep Reinforcement Learning (DRL) algorithm Soft Actor-Critic (SAC) is integrated with various Transformer-based attention mechanisms and evaluated in terms of performance. Attention architectures such as Big Bird, Linformer, Linear Transformer, Longformer, Nyströmformer, Performer, Reformer, Routing Transformer, Sparse Transformer, Synthesizer, and the classical Transformer each of which has demonstrated success in different tasks in the literature are comparatively tested in the context of goal-directed navigation. In addition, the effects of different activation functions (Relu, Gelu, and Mish) on performance are analyzed. In the simulation-based tests, the robot is expected to reach the target without collisions, and each model is evaluated under both static and dynamic environmental conditions. Performance metrics include total reward, target success rate, number of collisions, distance traveled, and training duration. In static environments, the Reformer-SAC-Relu and Longformer-SAC-Mish models achieved successful performance with high reward values, low collision rates, and short training durations. In dynamic environments, Linformer-SAC-Gelu and Linformer-SAC-Mish models stood out with more stable learning curves. These models construct a goal-oriented attention mechanism through the integration of the goal vector into the attention structure, providing a novel contribution to the literature. This study presents a detailed evaluation of the integration of DRL-based algorithms with Transformer models and reveals the impact of attention mechanisms on robotic navigation. The findings indicate that goal-oriented attention mechanisms improve the decision-making process. The developed models are anticipated to be effectively used in applications such as autonomous robot exploration, pre-mapping navigation, and emergency missions.

Benzer Tezler

  1. Tez No

    847764

    Hesapsal zeka yöntemleri ile insansız hava araçları için 3B ortamda rota planlaması

    Route planning in 3d environment for unmanned aerial vehicles with computational intelligence methods

    GÖKHAN ALTUN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. İLHAN AYDIN

  2. Tez No

    732348

    Frontier point based autonomous exploration in 2D environment

    2B ortamda sınır noktası tabanlı özerk keşif

    ECEM SÜMER

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. HAKAN TEMELTAŞ

  3. Tez No

    983461

    Mobil robotlarda SLAM uygulamaları için otomatik landmark belirleme yöntemi

    Automatic landmark extraction method for SLAM applications in mobile robots

    İSMAİL BARTAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Mekatronik MühendisliğiDokuz Eylül Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET ÖZKURT

  4. Tez No

    384888

    Farklı malzeme içeren çubukların üniform olmayan burulması

    Nununiform torsion of the prismatical bars with different shapes of cross sections

    HAKAN TÜRKEN

    Doktora

    Türkçe

    Türkçe

    2014

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Bölümü

    PROF. DR. FATMA NECLA KADIOĞLU

  5. Tez No

    168082

    Bulanık mantık planlamasıyla robot navigasyonu

    Robot navigation using fuzzy logic

    BARIŞ BAKLA

    Yüksek Lisans

    Türkçe

    Türkçe

    2005

    Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    Y.DOÇ.DR. OSMAN PARLAKTUNA

Geri Dön