Video görüntülerine dayalı olarak gerçek zamanlı göz hareketleri takip sistemi tasarımı
Design of video image based real time eye tracking system
- Tez No: 467503
- Danışmanlar: YRD. DOÇ. DR. FİKRET ARI
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 129
Özet
Göz hareketleri takibine yönelik olarak farklı firmalara ait ticari ürünler görmek mümkündür. Ancak akademik olarak bu cihazlarda kullanılan takip yöntemlerine ve sistemlerin başarımlarına dair veriler literatürde bulunmamaktadır. Göz izleme sistemlerinde yüksek hız, doğruluk, baş hareketli ve farklı ortam şartlarındaki takibe yönelik zorluklar halen devam etmektedir. Bu çalışmada, yüksek çözünürlüklü kamera, kızılötesi aydınlatma ve LabVIEW yazılımı kullanılarak binoküler, göz bebeği-kornea yansıması takibini uzaktan gerçekleştiren ve göz bebeği boyutunu hesaplayabilen yeni bir göz bakış sistemi tasarımı önerilmiştir. LabVIEW yapısal olarak olarak paralel işleyen ve daha az zaman alan algoritmalara sahiptir. Full HD görüntüler, göz bebeği ve kornea yansımanın merkez koordinatlarını ve boyutlarını daha kolay belirlememizi sağlamıştır. Kullandığımız kamera sensörü yalnızca kızılötesi görüntüleri geçirecek şekilde filtre uygulaması ile modifiye edilmiştir. Kızılötesi aydınlatmanın göz kornea tabakası üzerinde oluşturduğu birinci purkinje yansıması, yüz imgesindeki göz bölgesinin ilgi bölgesi (ROI) olarak seçimi için referans noktası olarak alınmıştır. Göz bebeği etrafındaki istenmeyen gürültü nesnelerinin temizlenmesi için eşikleme ve aşındırma gibi morfolojik işlemler uygulanmıştır. Göz bebeği merkezi tespiti için kütle ağırlık merkezi tekniği kullanılmıştır. Tasarlanan sistemin doğruluğunu test etmek ve her bir gözün hareketini analiz etmek için görsel bir uyarıcı düzeneği hazırlanmıştır. Monitör üzerinde bakış yeri tahmini için doğrusal olmayan haritalama fonksiyonu kullanılmıştır. Tasarlanan sistem 11 katılımcıyla test edilmiştir. Sistemimizde doğal baş hareketleri altında göz bebeği boyutu, göz bebeği pozisyonu, kornea yansıması pozisyonu ve bakış yeri koordinatları elde edilmiştir. Bu sistem saniyede 40 görüntü çerçevesi ile 2046x1086 çözünürlükte çalışabilmektedir. Aynı zamanda 640x480 piksel görüntüler için saniyede yaklaşık 280 görüntü çerçevesi işleme hızına eşdeğerdir. Deneysel sonuçlarda, 11 katılımcının ortalama bakış yeri hatası sol göz için 0.76°, sağ göz için 0.89° ve iki göz ortalaması 0.83° olarak bulunmuştur.
Özet (Çeviri)
We can see commercial products of eye tracking systems belonging to different companies. However, there is no literature on the tracking methodologies and performance of these systems. High speed tracking, accuracy, tracking challenges in different environments and under head motions are still problem in Eye tracking systems. In this study, a new eye-gaze system design was proposed that uses a high-resolution camera, infrared illumination, and LabVIEW software to remotely perform binocular eye and corneal reflection follow-up and to calculate eye pupil size. LabVIEW is inherently parallel and has less time consuming algorithms. Full HD images make easier determination of center coordinates/sizes of pupil and corneal reflection. We modified the camera so that the camera sensor passes only IR images. The first purkinje reflection produced by the infrared illumination on the eye corneal layer is taken as the reference point for selection as the region of interest (ROI) of the eye region of the face image. Morphological operations such as thresholding and erosion have been applied to clean unwanted noise objects around the eye pupil. Weighted average technique was used for eye pupil center detection. A visual stimulus was developed to test the accuracy of the designed system and to analyze the movement of each eye. The nonlinear mapping function is used to estimate the eye point of view on the monitor. The system has been tested with 11 participants. In our system, eye pupil size, eye pupil position, corneal reflection position and gaze position coordinates are obtained with natural head movements. This system can operate at 2046x1086 resolution with 40 frame per second. At the same time, It is assumed 280 frames per second for 640x480 pixel images. Experimental results shown that the average gaze detection error for 11 participants is 0.76° for left eye, 0.89° for right eye and 0.83° for mean of two eyes.
Benzer Tezler
- Real-time detection and tracking of human eyes in video sequnces
Video görüntülerinde gerçek zamanlı insan gözü saptama ve takibi
ZAFER SAVAŞ
Yüksek Lisans
İngilizce
2005
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. UĞUR HALICI
- Digital video stabilization with SIFT flow
SIFT akışı ile sayısal video sabitleme
İNCİ MELİHA BAYTAŞ
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MELİH PAZARCI
- Video görüntülerine dayalı nöropsikolojik testler için pupil (göz bebeği) hareketleri izleme sistemi
Video based pupil motion tracking system for neuro psych testing
GÖKAY AKINCI
Yüksek Lisans
Türkçe
2011
Elektrik ve Elektronik MühendisliğiKırıkkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EDİZ POLAT
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA
- The effect of visual narrative language of color codes in Youssef Chahine's cinema
Youssef Chahine sinemasında renk kodlarının görsel anlatı diline etkisi
MARİAM MAHROUS
Yüksek Lisans
İngilizce
2024
Radyo-TelevizyonEge ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
PROF. DR. ALEV FATOŞ PARSA
Assist. Prof. Dr. ELÇİN AS