Dâhili webcam kullanarak göz hareketlerinin takibi ve imleç kontrol yöntemi
Eye tracing and cursor control method with domestic webcam
- Tez No: 386953
- Danışmanlar: DOÇ. DR. HALİL İBRAHİM ESKİKURT
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: Türkçe
- Üniversite: Sakarya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik-Bilgisayar Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 147
Özet
Çalışmada dizüstü bilgisayar kullanıcılarının dâhili webcam ile alınan görüntüleri işlenerek imleç kontrolü amaçlanmıştır. Bu amaçla çalışma dâhili webcam ile alınan görüntü içinde göz bölgesinin bulunması, göz bölgesine ait özniteliklerin elde edilmesi, özniteliklerin kullanılarak ekranda bakılan nokta koordinatlarının tespiti ve fare kontrolü şeklinde aşamalandırılmıştır. Çalışmada bölge koordinatlarının tespiti önce araştırmacının kendine ait dâhili webcam görüntüleri kullanılarak gerçeklenmiş, daha sonra 11 deneğe ait dâhili webcam görüntüleri kullanılarak tekrarlanmıştır. Göz bölgesinin bulunması aşamasında bir yapay sinir ağı (YSA) geliştirilmiş ve eğitim seti ile birlikte hazırlanan test seti üzerinde %100 başarıya ulaşılmıştır. Sonraki aşamada göz bölgesine ait öznitelikler belirlenmiş ve bu öznitelikler göz bölgesinden elde edilmiştir. Göz bölgesi öznitelikleri olarak iris merkezi, göz köşe noktaları ve göz bölgesine ait piksel değerleri kullanılmıştır. Göz bölgesinin içinde irisin bulunması için Yapay Sinir Ağı (YSA)+Circular Hough Transform (CHT)-Dairesel Hough Transformu, göz köşelerinin bulunması için ise Lowest Valued Pixel (LVP)-En Düşük Değerlikli Piksel (EDDP) kullanılmıştır. Göz bölgesine ait her bir pikselin ifade ettiği renk derinliği değerleri (piksel değerleri) de boyut bazında azaltılarak kullanılmıştır. Ancak otomatik olarak bulunan iris ve göz köşelerinin sonuçlara olumlu katkısının olmadığı gözlemlenmiştir. Manuel olarak iris ve göz köşelerinin bulunmasının ise pratikte her görüntü için uygulanamaması sebebiyle, çalışmanın devamında göz bölgesini ifade etmesi için sadece piksel değerleri kullanılmıştır. Kullanıcının dâhili webcam ile alınan görüntü içinde bulunan göz bölgesine ait pikseller, veri azaltma yöntemleri ile azaltılmış ve vektör matrisi haline getirilen piksellere ait değerler koordinat tespiti için geliştirilen YSA'da giriş verisi olarak kullanılmıştır. Kullanıcıya ait test görüntüleri, koordinat tespiti için geliştirilen YSA ile test edilmiş ve Mutlak Hata Ortalaması (MAE=1.6648 bölge – 1.664824 piksel) bulunmuştur. MAE değerinin küçük olması gerçek bölge koordinatları ile YSA'nın bulduğu bölge koordinatları arasındaki sapmaların az olduğu anlamına gelmektedir. Kullanıcıya ait test görüntülerinden elde edilen sonuçlara bağlı olarak çalışma farklı kullanıcılar için deneklerin dâhili webcam görüntüleri kullanılarak tekrarlanmıştır. Deneklerden elde edilen sonuçların farklılıklar gösterdiği ve elde edilen en düşük mutlak hata ortalamasının araştırmacının elde ettiği değerlere yaklaştığı görülmüştür. Çalışmanın sonucunda önceden belirlenmiş kullanıcıların göz hareketlerine bağlı olarak imlecin istenilen noktalara hareketi ortalama (MAE=5,8382 bölge) sapmayla gerçekleşmesi sağlanmıştır. Ortalama MAE değeri hesaplanırken eğitim ve test görüntülerini yanlış aldığı düşünülen deneklerde ortalamaya dahil edilmiştir.
Özet (Çeviri)
In this study, it is aimed to control the cursor on the laptop screen with processing of captured images from the domestic webcam. For this aim, the study was divided into four steps; to detect eye in the image, to obtain the attributes of eye region, to determine the point coordinates looked on the screen with using eye region attributes, and to control the cursor. Firstly, the study has been realized with using the researcher images only. Later on, the study has been repeated again for 11 different test subject images. In the second step, an Artificial Neural Network (ANN) has been developed and 100% success has been achieved on the test set. In the next step, the attributes, obtained from the eye region have been determined. The iris center, eye corners and pixels values of eye region have been selected as the attributes of eye region. ANN (Artificial Neural Network) & CHT (Circular Hough Transform) methods have been used to detect the iris and LVP (Lowest Valued Pixel) method has been used to detect the eye corners in eye region. The colour depth values (pixel values), define each pixel belong to eye region have been used by reducing the number of pixels. However, it is observed that, the iris and eye corners, detected automatically have not effected the results positively. Meanwhile, the detection of iris and eye corners couldn't be applied manually for each image. So, in the rest of study, only the pixel values has been used. The number of pixels in eye region within the image of the user has been decreased by data reduction methods. The pixel values, converted into vector matrix have been used as the input data for the ANN, developed for the determination of coordinates. Test images of user have been tested on the ANN and Mean Absolute Error (MAE) has been found as 1,6648 area (1.664824 pixels). This small value of the MAE indicates that, there is less deviation between the actual and obtained coordinates. The study has been repeated for different users. It has been observed that, the results obtained from the test subjects were different. However, the minimum Mean Absolute Error obtained from the test subject was very close to the value obtained from the researcher. As a result of the study, the cursor has been moved to the desired point with the average deviation (MAE=5,8382 area) by depending on eye movements of the predetermined users. The test subjects, which took the training and test images wrong, have been included when the MAE was calculated.
Benzer Tezler
- Akıllı ev otomasyon sistemi ve ınternet üzerinden uygulaması
Smart home otomation system and its application via internet
RECEP ÖZDAĞ
Yüksek Lisans
Türkçe
2006
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYüzüncü Yıl ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ.DR. NİHAT İNANÇ
- Application of a voting-based ensemble method for recognizing seven basic emotions in real-time webcam video images
Gerçek zamanlı web kamerası video görüntülerinde yedi temel duygunun tanınmasına yönelik oylamaya dayalı topluluk yönteminin uygulanması
AHMET TUNAHAN ŞANLI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT SARAN
- Real time human computer interface application based on eye gaze tracking and head detection
Göz takibi ve baş hareketi saptamıyla gerçek zamanlı insan bilgisayar arayüzü uygulaması
SİNAN KESKİN
Yüksek Lisans
İngilizce
2018
Makine MühendisliğiGaziantep ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. SADETTİN KAPUCU
- Hemiparetik Serebral Palsi'li çocuklarda üst ekstremite fonksiyonlarını geliştirmede senkron telerehabilitasyon ve yüz yüze yöntemin karşılaştırılması
Comparison of synchronous telerehabilitation and face-to-face mathod for improving upper extremity functions in children with Hemiparetic Cerebral Palsy
GAMZE POLEN ALTUN
Doktora
Türkçe
2023
Fizyoterapi ve Rehabilitasyonİstanbul Üniversitesi-CerrahpaşaFizyoterapi ve Rehabilitasyon Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞE ZENGİN ALPÖZGEN
- Dahili ortamlarda aydınlık seviyesinin kontrolü ve enerji tasarrufurun sağlanması
Provide at energy economy with lighting level's control in interior environments
SÜREYYA KOCABEY
Yüksek Lisans
Türkçe
1999
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektrik Eğitimi Ana Bilim Dalı
Y.DOÇ.DR. NAZMİ EKREN