Deep learning-based attention monitoring system using blink rate, head position and eye state for human-robot collaboration
İnsan robot iş birliği için göz kırpma hızı, baş pozısyonu ve göz durumlarına dayalı derın ogrenme tabanlı dıkkat izleme sıstemi
- Tez No: 1001302
- Danışmanlar: Assoc. Prof. Dr. ALİ FURKAN KAMANLI
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Sakarya Uygulamalı Bilimler Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Modern robotlar, belirli bir düzeye kadar insanlarla birlikte çalışabilmektedir. Ancak insanlardan farklı olarak, temassız ve gerçek zamanlı bir şekilde insanlarla etkili biçimde iş birliği yapabilme yetenekleri halen sınırlıdır. Bu tez, söz konusu eksiklikleri ele almakta ve insan robot iş birliğini geliştirmeyi amaçlayan gerçek zamanlı, temassız bir dikkat izleme sisteminin tasarımını ve değerlendirmesini sunmaktadır. Önerilen sistem, insan iş birliği ortağının dikkat düzeyini; göz durumu, göz kırpma hızı ve baş pozu olmak üzere üç sosyal ipucunu bir araya getiren ağırlık tabanlı bir dikkat puanlama yöntemiyle tahmin etmektedir. Her bir sosyal ipucu ayrı ayrı değerlendirilerek sağlam bir gerçek zamanlı yapı oluşturulmuş, dikkat puanındaki dalgalanmaları azaltmak ve sistemin tepkiselliğini artırmak amacıyla üstel hareketli ortalama yöntemi uygulanmıştır. Bu çalışma kapsamında, mevcut ikili göz durumu veri kümelerinin sınırlamalarını gidermek amacıyla açık, yarı açık ve kapalı olmak üzere üç sınıftan oluşan yeni bir açık kaynaklı göz durumu veri kümesi oluşturulmuştur. Göz durumu sınıflandırması için altı farklı ince ayar yapılmış derin öğrenme modeli değerlendirilmiş ve tüm modellerin %96 ile %97 arasında sınıflandırma doğruluğu elde ettiği gözlemlenmiştir. Yüksek doğruluk oranı ve tüm göz durumu sınıflarında dengeli F1 skorları sunması nedeniyle EfficientNetB0 modeli dikkat puanlama hattına entegre edilmiştir. Göz kırpma hızı, önceden tanımlanmış göz kapanma süresini aşan kırpmaların 60 saniyelik bir zaman aralığında sayılmasıyla hesaplanmıştır. Farklı eşik süreleriyle gerçekleştirilen deneyler, daha kısa sürelerin gerçek zamanlı koşullarda daha yüksek hassasiyet sağladığını ve tahmin hatasını azalttığını göstermiştir. Baş pozu kestirimi için Hopenet, Hopenet-Light ve 6DRepNet önceden eğitilmiş modelleri değerlendirilmiştir. Gecikme süresi ve kare hızı temel alınarak yapılan karşılaştırmalar sonucunda, en iyi performansı sergileyen 6DRepNet modeli önerilen dikkat puanlama sistemine dahil edilmiştir. Son olarak, göz durumu, göz kırpma hızı ve baş pozu; sırasıyla 0.4, 0.1 ve 0.5 ağırlıklarıyla birleştirilerek nihai dikkat puanlama sistemi oluşturulmuştur. Ağırlıklar, harici kamera kullanımı altında her bir ipucunun güvenilir biçimde algılanabilirliğine göre belirlenmiştir. Geliştirilen sistem, 6.625 ms gecikme süresiyle 30 FPS hızında çalışarak gerçek zamanlı uygulamalar için uygunluğunu ortaya koymuştur. Ayrıca, üstel hareketli ortalama yöntemi sayesinde dikkat puanındaki dalgalanmalar %64 oranında azaltılmıştır.
Özet (Çeviri)
The modern robots are, to some extent, capable of working with humans. However, unlike humans, they still lack the ability to collaborate with people in a contactless and real time manner. This thesis addresses these challenges and presents a design and evaluation of a real-time contactless attention monitoring system, which aims to improve the human-robot collaboration. The proposed system estimates its human collaborator's attention by combining the three social cues, namely, eye states, blinking rate, and head poses, into a single weight-based attention scoring system. Each social cue is assessed individually to form a robust real-time and exponential moving average smoothing, and it is applied on the attention score to stabilize and improve the responsiveness of the system. The new open-source eye-state dataset was created with three classes: open, partially open, and closed that address the limitation of existing binary eye-state datasets. The thesis evaluates six fine-tuned deep learning models for the classification of eye states. All the models achieved classification accuracy between 96% and 97%. The EfficientNetB0 model was selected for integrating into the attention scoring pipeline due to its high classification accuracy and balanced F1 scores across all the eye states. Blinking rate was calculated by counting the blinks that exceeded the predefined blink duration over the 60-second window. Experiments with different predefined blink durations showed that using the smaller duration improved the sensitivity and reduced estimation error in real-time conditions. Head pose estimation was assessed using Hopenet, Hopenet-Light, and 6DRepNet, pretrained models. Based on the latency and FPS, the 6DRepNet model illustrated the superior results and was selected for integrating into the proposed attention scoring framework. The final attention scoring system was made by combining the eye state, blinking frequency, and head pose with weights of 0.4, 0.1, and 0.5, respectively. The weights were assigned based on their visibility in an external camera setup. The final system achieved 30 FPS with a latency of 6.625 ms, which confirms its suitability for real-time deployment. Furthermore, EMA smoothing reduced attention score fluctuations by 64%.
Benzer Tezler
- Yüz analizine dayalı derin öğrenme tabanlı bir ilgi tespit sisteminin gerçekleştirilmesi
Development of an interest detection system based on facial analysis using deep learning
GÖZDE YOLCU ÖZTEL
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERAP KAZAN
- Global gravity field recovery from low-low satellite-to-satellite tracking with enhanced spatiotemporal resolution using deep learning paradigm
Global gravite alanının derin öğrenme paradigması kullanarak alçak uydudan alçak uyduya izleme ile iyileştirilmiş çözünürlükte belirlenmesi
METEHAN UZ
Doktora
İngilizce
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ORHAN AKYILMAZ
- A real-time multi-modal deep learning system for driver fatigue detection
Sürücü yorgunluğunu tespit etmek için gerçek zamanlı çok modlu derin öğrenme sistemi
CENNET KOCABIYIK GÜR
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik MühendisliğiYaşar ÜniversitesiYapay Zeka Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NALAN ÖZKURT
- Videolarda derin öğrenme yaklaşımları ile anormal durum tespiti ve boyut indirgeme sistemi
Anomaly detection and size reduction system with deep learning approaches in videos
MEHMET TEVFİK AĞDAŞ
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. SEVİNÇ GÜLSEÇEN
- Kanal tabanlı özellik temsili ve derin öğrenmeye dayalı uykululuk sınıflandırması
Drowsiness classification based on channel-based feature representation and deep learning
MUSTAFA RIFAT ÇELİK
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ZÜMRAY ÖLMEZ