Geri Dön

Enhancing smart environments through an ai-assisted IORT agent

Akıllı ortamların yapay zekâ destekli bir İORT aracısıyla güçlendirilmesi

PDF İndir

  1. Tez No: 922004
  2. Yazar: YAKUP KAYATAŞ
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SANEM KABADAYI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 100

Özet

İnternet'in ve İnternet teknolojilerinin gelişimi farklı özelliklerdeki cihazların birbirine bağlanmasını ve Nesnelerin İnternet'i (Internet of Things - IoT) kavramının oluşmasını sağlamıştır. Geleneksel bilgisayarlar ve akıllı telefonların ötesinde, ev eşyalarının, sanayi, sağlık, tarım ve ulaşım gibi alanlarda kullanılan cihazların da İnternet'e bağlanmasıyla yaşam alanlarını daha entegre ve verimli hale getirmesi mümkün olmaktadır. Bu dönüşüm, IoT cihazlarına daha akıllı kararlar alabilme ve otomasyon yetenekleri kazandıran yapay zekâ (Artificial Intelligence - AI) ile daha da güçlenebilmektedir. Yapay zekâ ve Nesnelerin İnternet'i cihazlarının entegrasyonu birçok alana uyarlanarak akıllı ortamlar (smart environments) oluşturabilmektedir. Bu ortamlar, cihazların sensörler aracılığıyla otonom veri toplama ve analiz yapabilmesini sağlarken aynı zamanda yapay zekâ ile karar verme ve sistem izleme yeteneklerini arttırmaktadır. IoT cihazları ve yapay zekânın birleşimi, akıllı endüstri, sağlık ve akıllı şehirler gibi alanlarda otonom sistemlerin gelişmesini sağlamaktadır. Robot teknolojisi de bunlara eklenerek, sağlık, askeriye, tarım ve endüstri gibi birçok alanda kullanılabilir. Robotlar, çeşitli ortamlar ve görevler için farklı yapılarla tasarlanabilir (örneğin, kara, hava, su robotları veya insansı robotlar). Bu robotlar, çevrelerini keşfetmek için veri toplarlar ve belirli sensörler aracılığıyla mekânsal farkındalıklarını arttırırlar. Hareket etmek ve çevresini keşfetmek zorunda olan robotlar, gezdikleri alanları tanımak için de belirli miktarda veriye ihtiyaç duyarlar ve IoT cihazları ile iletişim kurarlar. Robotlar, bu verilerin bir kısmını, üzerlerinde bulunan lidar ve kodlayıcı (encoder) gibi sensörlerden işleyerek elde ederler. Ancak, mekânsal farkındalık için, robotların dışarıdan elde edebileceği verileri de kullanması önemlidir. Robotların, IoT sensör verileriyle daha etkin kararlar alması, görevlerini otonom olarak yerine getirmelerini sağlar. Robotik Nesnelerin İnternet'i (IoRT), bu teknolojilerin entegrasyonuna verilen isimdir ve robotların diğer cihazlarla iletişim kurmasını ve verimli bir ortam yaratılmasını sağlar. IoRT, akıllı şehirler, sağlık hizmetleri, depolar ve sanayi gibi alanlarda robotların etkinliğini arttırabilir. Bu etkileşim, aynı zamanda, IoT ile robotik sistemlere uzaktan erişilmesini ve robotik sistemlerin performansının izlenmesini sağlar. IoT cihazlarından alınan veriler, robotların çevresini daha iyi inceleyebilmelerini ve karar verme süreçlerini iyileştirmelerini sağlayabilecektir. IoT cihazlarının sensör verisi sonucu hareket gerektiren bir işlemi tetiklemesi de akıllı ortamlardaki robotlar aracılığıyla mümkün olabilecektir. Bu karşılıklı etkileşim, robotların insan müdahalesine ihtiyaç duymadan, akıllı ortamda bağımsız olarak etkin bir şekilde çalışmasını sağlamaktadır. Robotların akıllı ortamlarda yer alması, gerektiğinde sensör verisi ve yapay zekâ aracılığıyla alınan kararların yürütülmesini sağlamaktadır ve sisteme hareket kabiliyeti kazandırmaktadır. Bu çalışmada, imalat, sağlık, depolama, tarım, sanayi ve ulaşım gibi çeşitli alanlarda kullanılabilen ve aynı zamanda gerçek zamanlı sistem izleme özelliği sunan modüler bir IoRT sistemi geliştirilmiştir. Araştırma, akıllı ulaşım ve akıllı şehirler alanında kullanılmak üzere diferansiyel sürüşlü otonom robotun tasarımına odaklanmaktadır. Yapay zekâ ve IoT entegrasyonu ile robotların akıllı ortamlarda otonomi, mekânsal farkındalık ve karar verme yeteneklerinin arttırılması hedeflenmektedir. Çalışmada, IoT sensörleriyle entegre edilmiş bir akıllı istasyon, robotun navigasyonuna yardımcı olmak amacıyla gerçek zamanlı olarak sensör verilerini bir planlayıcı (orchestrator) uygulama üzerinden sağlamaktadır. Robot, bu verileri kullanarak kararlar almakta ve IoT cihazları ile etkileşimde bulunarak mekânsal farkındalığı arttırmaktadır. Çalışmada, lokalizasyon, navigasyon ve haritalama için ROS (Robot Operating System) kullanan Raspberry Pi 4 tabanlı bir mobil robot kullanılmakta ve IoT cihazlarıyla entegrasyon sağlanmaktadır. NodeMCU ve Esp32-CAM gibi düşük maliyetli IoT modülleri, akıllı istasyona entegre edilmiştir. Akıllı istasyon, varlık algılamak için bir ultrasonik sensör ve görüntü yakalamak için bir kamera (ESP32-Cam) içermektedir. IoT kamera, görüntüleri yapay zekâ tabanlı işlemeye iletmekte ve insan varlığı tespit edildiğinde robot otonom olarak istasyona yönelmektedir. Robot, lidar ve kodlayıcı (encoder) gibi sensörlerin de yardımıyla engellerden kaçınmakta ve en kısa yolu takip ederek hedefe ulaşmaktadır. IoT kamera sensöründen gelen görüntüler, yapay zekâ tabanlı nesne tanıma teknolojisiyle işlenerek istasyonda bir insan olup olmadığı belirlenmektedir. Bu sayede, yapay zekâ, hem IoT sensör verilerinin analizinde hem de robotun otonom hareketinde (en kısa yolun bulunması) kullanılmaktadır. Gerçek dünyada, akıllı şehir uygulamalarında, IoT cihazları ve sensörlerle donatılmış duraklarda bekleyen kişiler, sensörler ve nesne tanıma ile tespit edilebilecek ve otonom araç, 'akıllı durağa' ulaşmak üzere yönlendirilebilecektir. Durakta insandan başka bir varlık bulunduğunda ise, otonom araç gereksiz yere hareket etmeyecektir. Nesne tanıma ve sistem bileşenlerinin koordinasyonu, planlayıcı uygulama üzerinden sağlanmakta ve IoT cihazları ile sensörler değiştirilebilmektedir. Planlayıcı uygulama, insan yerine başka varlıkların algılanması için özelleştirilebilir. Modüler yapı, sistemin, farklı uygulama alanlarında kullanılabilmesini sağlar. Nesnelerin İnternet'i uygulamalarında işlemlerin takibi ve izlenmesi büyük önem taşımaktadır. Bu amaçla, robotun IoT sensör verilerinin ve nesne tanıma süreçlerinin anlık olarak takip edilebildiği bir IoT izleme sistemi geliştirilmiştir. Bu sistemde, robotun konum bilgisi (x, y koordinatları), gerçekleştirilen işlemlerin başarı durumu, nesne tanıma başarı oranı, IoT sensör verileri ve veri ölçüm zamanı gibi bilgiler anlık olarak bir web sunucusu aracılığıyla kullanıcılara sunulmaktadır. Robotun hareketi, üzerindeki kamera ile canlı görüntü akışı olarak izlenebilmekte ve bu görüntü web arayüzünde gösterilmektedir. Web sunucusu, WebSocket protokolü kullanarak anlık veri iletimini sağlamaktadır. Bu çalışmanın doğrulanması için diferansiyel sürüşlü, tekerlekli bir robot platformu tasarlanmış ve gerçeklenmiştir. Robot, Raspberry Pi 4 yanında lidar sensörü, Arduino Nano, dörtlü (quadrature) kodlayıcılı DC motorlar ve canlı video sağlamak için yerleşik bir kamera ile donatılmıştır. Robot, IoT cihazlarından gelen verileri kullanarak çevresel farkındalığını artırmakta ve buna göre otonom kararlar alabilmektedir. Özellikle, IoT sensörlerinden elde edilen veriler ve IoT kameradan gelen görüntüler, nesne tanıma verisi ile birleşerek robotun hareketini başlatıp başlatmama kararını verir. Akıllı durakta bir insan varlığı algılandığında, robot otonom olarak durak noktasına yönelmekte ve böylece gerçek zamanlı insan algılama ile robot hareketini optimize eden bir IoRT sistemi sunulmaktadır. Bu bağlamda, ROS platformunun Nav2 ve ilgili kütüphaneleri kullanılarak, akıllı ortamlarda güvenli navigasyon kabiliyetleri deneysel olarak uygulanmıştır. Sistemin performansı, çeşitli ölçütler çerçevesinde değerlendirilmiştir. İlk olarak, nesne algılama doğruluğu ele alınmıştır. Akıllı duraktaki insan figürlerinin planlayıcı uygulama ile doğru bir şekilde tanınabilme başarısı test edilmiştir. Farklı ışık koşullarında yapılan deneylerle sistemin nesne algılama doğruluğu ölçülmüştür. Bu doğruluk, robotun navigasyon sürecini başlatmasında önemli bir etkendir. Ayrıca, robotun otonom navigasyon performansı da değerlendirilmiştir. İnsan figürü algılandığında, robotun hedef noktaya güvenli bir şekilde hareket etme yeteneği incelenmiştir. Robotun engellerden kaçınma yeteneği, yol planlaması ve hedefe ulaşma süresi gibi etkenler incelenmiştir. Bu değerlendirmeler, robotun çevre ile etkileşimini ve görev başarısını sağlama konusundaki performansını göstermektedir. Robotun motor kodlayıcıları ve lidar sensörünün birlikte kullanımı, Eşzamanlı Yerelleştirme ve Haritalama (Simultaneous Localization and Mapping - SLAM) yeteneğini arttırarak harita oluşturma ve konum belirleme doğruluğunu geliştirmiştir. Bu sensörlerle, hem dinamik hem de statik ortamlarda başarılı bir haritalama ve lokalizasyon gerçekleştirilmesi hedeflenmiştir. Sistemin IoT modülleriyle olan iletişim sürecinde yaşanabilecek gecikmeler de incelemiştir. IoT modülleri, planlayıcı ve robot arasındaki iletişim gecikmeleri için, bir bileşenin veri gönderdiği andan, ilgili sistem bileşeni tarafından alınıp işlendiği ana kadar geçen süreyi ölçülmüştür.

Özet (Çeviri)

The development of Internet technologies has led to the Internet of Things (IoT), going beyond connecting only traditional computers and smart phones to also connecting gadgets we use in our daily lives. Devices in various areas such as homes, industry, health care, and transportation can get more integrated and collaborate to answer different needs. Artificial intelligence (AI) powers this transformation by enhancing IoT devices' decision-making and automation capabilities. The synergy between AI and IoT creates smart environments. Within the broader landscape of IoT devices and smart spaces, the Internet of Robotic Things (IoRT) is a relatively new concept that integrates robotics with IoT technology. This integration provides new opportunities and enhances the capabilities of both technologies. IoT can enable remote access to robotic systems and allow robots to communicate and interact with external sensor data. Robots deployed in smart spaces (such as cities, hospitals, warehouses, or industry) make up IoRT. Robotic systems can make real-time decisions by accessing data from external IoT devices, enhancing operational efficiency, interconnectivity, spatial awareness, and adaptability to changing environments and tasks. This study presents a modular IoRT system that applies AI and IoT to enhance the autonomy, spatial awareness, and decision-making of mobile robots. The system is applicable to several areas, such as surveillance, manufacturing, health, warehousing, agriculture, industry, and transportation. We validated this research through a differential drive autonomous robot in a smart transportation context. IoT sensors integrated into a smart station monitor their conditions and provide intelligent information in real time to improve the reliability of the transportation infrastructure. The autonomous mobile agent receives and makes use of this information for its navigation. This system uses a differential drive autonomous robot as the mobile agent, equipped with a Raspberry Pi 4 running ROS (Robot Operating System) for localization, navigation, and mapping along with an orchestrator for interoperability with IoT devices and processes environmental sensor data to dynamically assist the robot's actions. The system integrates affordable IoT modules, such as NodeMCU and ESP32-CAM. The IoT modules (along with several sensors connected to them) are integrated within the smart station that serves as an external data acquisition hub for the overall system. The smart station includes an IoT ultrasonic sensor for detecting the presence of entities inside the smart station and an IoT camera (Esp32-CAM) for capturing images of the entity. When the system detects human presence from captured images, the robot receives navigation instructions to autonomously move to the station. The robot also has a Lidar sensor, an Arduino Nano, DC motors with quadrature encoders, and an onboard camera for live video provisioning during navigation. To enhance the robot's autonomy and decision making, artificial intelligence (AI) is used in two areas: (i) real-time human detection using AI computer vision to improve spatial awareness, and (ii) determining and following the shortest path for navigation. A web application (implemented using the WebSocket protocol) serves the real-time communications of system nodes and live video feedback from the onboard robot camera. The novel contributions of this work are the integration of IoT devices, an autonomous robot, and AI-based methods in an IoRT system, modularity that supports adaptation to different applications, and real-time system monitoring through WebSockets. We evaluated the system's performance based on specific criteria. First, we assessed object detection accuracy by testing the ability of the detection module at the smart station to correctly identify human figures under different lighting conditions. This was crucial for initiating the robot's navigation process. Second, we analyzed the autonomous navigation performance of the robot. This included its ability to move safely to the target upon detecting a human figure (planning routes, avoiding obstacles, and reaching the target). Third, we analyzed the communication delays between the IoT modules, the orchestrator, and the robot by measuring the time that elapsed from the moment a component sent data to when it was received and processed by the respective system element. Last, we examined the efficiency of information flow and transfer on the web interface. We found that the WebSocket protocol was effective for real-time data transmissions, and it ensured messages and visual information from system components got delivered successfully. Our IoRT system demonstrates the potential for various smart domains, including cities, warehousing, health care, smart industry, agriculture, surveillance, and transportation. Key contributions include the modular design for easy adaptation to different applications, seamless integration of AI and IoT for improved autonomy, and real-time system monitoring using WebSockets. This research validates the effectiveness of the IoRT approach through a practical implementation, showcasing its impact on enhancing robotic operations in smart spaces.

Benzer Tezler

  1. Tez No

    956431

    Uç cihazlarda derin öğrenme tabanlı görüntü sınıflandırmada model optimizasyonu ve enerji verimliliği

    Model optimisation and energy efficiency in deep learning based image classification on edge devices

    ASIM BİLAL YILMAZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilişim Sistemleri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FATİH ÇALLI

  2. Tez No

    887240

    A graph neural network model with adaptive weights for session-based recommendation systems

    Oturum tabanlı öneri sistemleri için uyarlanabilir ağırlıklara sahip bir çizge sinir ağı modeli

    BEGÜM ÖZBAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ŞULE ÖĞÜDÜCÜ

    DR. RESUL TUGAY

  3. Tez No

    947390

    Derin öğrenme algoritmaları kullanarak öğrenci akademik performansının erken tahmini

    Early prediction of student academic performance using deep learning algorithms

    AHMET KALA

    Doktora

    Türkçe

    Türkçe

    2025

    Endüstri ve Endüstri MühendisliğiSakarya Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. ORHAN TORKUL

    DR. ÖĞR. ÜYESİ TUĞBA YILDIZ

  4. Tez No

    948065

    Enriching ıtem feature representations in session-based recommendation with global ıtem graphs

    Oturum tabanlı öneri sistemlerinde evrensel varlık çizgesi ile varlık özellik vektörlerinin zenginleştirilmesi

    YUNUS KARATEPE

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ŞULE ÖĞÜDÜCÜ

  5. Tez No

    816000

    Dialogue for all: Crafting inclusive and humanized voice assistants for diverse populations through an interdisciplinary approach

    Herkes için diyalog: Farklı topluluklar için kapsayıcı ve insani sesli asistanlar oluşturmak üzerine disiplinler arası bir yaklaşım

    YELİZ YÜCEL

    Doktora

    İngilizce

    İngilizce

    2023

    İletişim BilimleriGalatasaray Üniversitesi

    Radyo Televizyon ve Sinema Ana Bilim Dalı

    PROF. DR. KEREM RIZVANOĞLU

Geri Dön