Bilgisayar görüntüsü ve yapay zeka kullanarak alma ve yerleştirme görevi için göz bakışlı robotik kol kontrolü
Eye gaze robotic arm control for pick and place task using computer vision and artificial intelligence
- Tez No: 924133
- Danışmanlar: DOÇ. DR. UĞURHAN KUTBAY
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, ciddi hareket bozukluğu olan bireyler için özerklik ve yaşam kalitesinde anlamlı iyileştirmeler sunmak amacıyla robotik bir kolu kontrol etmek için göz bakışı izlemenin gücünden yararlanma konusunda yenilikçi bir yolculuğa çıkıyor. Amacımız, en son teknoloji ürünü bilgisayar görüşü ve yapay zekayı kullanarak fiziksel engelli insanlar için anlamlı özerklik konusunda ilerlemeler sağlamaktır. Araştırma, kontrol algoritmalarının geliştirilmesi ve test edilmesi için sağlam bir çerçeve sağlayan Robot İşletim Sisteminin (ROS) simülasyon için Gazebo ile entegrasyonuna dayanmaktadır. Metodoloji, doğru algılama ve gerçek zamanlı işleme için evrişimli sinir ağlarından (CNN'ler) yararlanarak, hassas göz bakışı takibi için bir bilgisayarlı görme sisteminin ayrıntılı tasarımını kapsar. Ek olarak, robot kolunun ters kinematiği, göz bakışı koordinatlarını uygulanabilir komutlara dönüştürmek için hesaplanır. Deneysel doğrulama, farklı düzeylerde fiziksel engeli olan katılımcıların yer aldığı bir dizi kontrollü deneme aracılığıyla gerçekleştirildi. Sonuçlar, geleneksel kontrol yöntemleriyle karşılaştırıldığında görev tamamlama sürelerinde ve doğrulukta önemli gelişmeler olduğunu gösterdi. Kullanıcı geri bildirimleri, sistemin sezgisel doğasını ve gereken fiziksel çabanın önemli ölçüde azaldığını vurguladı. Sonuç olarak, bu çalışma, yardımcı teknoloji için geçerli bir çözüm sunmakta ve engelli topluluk için kapsayıcı araçlar oluşturmada yapay zeka ve bilgisayarlı görmenin potansiyelini vurgulamaktadır. Gelecekteki çalışmalar, sistemi daha geniş uygulama senaryoları için iyileştirmeye ve farklı koşullar altında bakış izleme algoritmasının sağlamlığını artırmaya odaklanacak.
Özet (Çeviri)
This thesis embarks on an innovative journey in harnessing the power of eye gaze tracking to control a robotic arm, to offer meaningful enhancements in autonomy and quality of life for individuals with severe mobility impairment. Our goal is to provide advances in meaningful autonomy for physically disabled people using state-of-the-art computer vision and artificial intelligence.The research is anchored in the integration of the Robot Operating System (ROS) with Gazebo for simulation, providing a robust framework for developing and testing the control algorithms. The methodology encompasses the detailed design of a computer vision system for precise eye gaze tracking, leveraging convolutional neural networks (CNNs) for accurate detection and real-time processing. Additionally, the inverse kinematics for the robotic arm is computed to translate eye gaze coordinates into actionable commands.Experimental validation was conducted through a series of controlled trials involving participants with varying levels of physical disability. The results demonstrated significant improvements in task completion times and accuracy compared to traditional control methods. User feedback highlighted the system's intuitive nature and the substantial reduction in physical effort required.In conclusion, this study presents a viable solution for assistive technology, emphasizing the potential of AI and computer vision in creating inclusive tools for the disabled community. Future work will focus on refining the system for broader application scenarios and enhancing the robustness of the gaze tracking algorithm under diverse conditions.
Benzer Tezler
- Multimodal sensor fusion for detecting and classifying robot manipulation failures
Robot manipülasyon hatalarını tespit ve sınıflandırma için çoklu sensör füzyonu
ARDA İNCEOĞLU
- Explainable deep learning classification of tree species with very high resolution VHRTreeSpecies dataset
Açıklanabilir derin öğrenme yöntemleri ile çok yüksek çözünürlüklü VHRTreeSpecies veri seti kullanılarak ağaç türlerinin sınıflandırılması
ŞULE NUR TOPGÜL
Yüksek Lisans
İngilizce
2025
İstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
Yükleniyor...
- Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight
Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş
ARSLAN ARTYKOV
Yüksek Lisans
İngilizce
2023
İstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Üniversite kampüsündeki araç plaka tanıma ve takibi için matematik ve algoritmik ilkeler
University campus vehicles number plate recognition and following mathematical and algorithmic principles
AHMED AMİR KHAN
Yüksek Lisans
Türkçe
2013
Kahramanmaraş Sütçü İmam ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Oto-kodlayıcı mimarisi kullanarak mermer yüzey anomali tespiti
Marble surface anomaly detection using autoencoder architecture
MUHAMMAD YAHYA ABDULLAH