Prosedürel el hareketlerinin bilgisayarlı görmeye dayalı yorumlanması
Interpretation of procedural hand gestures using computer vision
- Tez No: 856655
- Danışmanlar: DR. ÖĞR. ÜYESİ EYÜP GEDİKLİ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Karadeniz Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 154
Özet
Dünya Sağlık Örgütü (DSÖ), enfeksiyonlara önlem olarak el hijyeni için belirli süreler boyunca uygulanan çeşitli hareketler içeren bir el yıkama prosedürü önermektedir. Özellikle sağlık alanında, bu prosedüre göre el yıkama işlemi, yetkili kişilerce aralıklı bir şekilde denetlenmektedir. Bu çalışmada, DSÖ'nün önerdiği el yıkama hareketlerine uygun olarak belirlenen 8 yıkama hareketinin ve yıkama sürelerinin asgari düzeyde uygulanmasını otonom denetleyebilmek için, bilgisayarlı görmeye dayalı bir sistem geliştirilmiştir. Çalışmada, kameradan elde edilen renkli (RGB), derinlik kamera görüntüleri ve render görüntülerinden elde edilen sentetik verilerle 2 özgün veri seti oluşturulmuştur. Veri setlerinden, renkli görüntüler, projeksiyon görüntüleri, noktalar kümesi ve birleştirilmiş noktalar kümesi örüntüleri üretilmiştir. El yıkama hareketleri, bu örüntülerden çerçeve bazlı olarak, zamansal boyut da içeren 16 farklı yapay sinir ağı modeli ile sınıflandırılmıştır. Ayrıca sentetik veriler üzerinde sabun miktarına göre 4 ve 32 sınıf belirlenerek sınıflandırma yapılmıştır. Önerilen sistemde, kameradan alınan gerçek zamanlı görüntüleri işlemek için çoklu iş parçacığı yaklaşımı kullanılarak maliyet azaltılmıştır. Sınıflandırmalarda kamera veri setinde %100, sentetik veri setinde %56,5 ve %48,5 doğruluk oranları elde edilmiştir.
Özet (Çeviri)
World Health Organization (WHO) recommends a hand washing procedure for hand hygiene against infections consisting of various hand gestures performed for certain periods of time. Especially in the health sector, hand washing according to this procedure is inspected by authorized personnel periodically. In this work, a computer vision-based system was developed to inspect performing of 8 hand washing gestures derived from WHO's recommendations and their washing times autonomously. Two new datasets were created using color, depth data from camera and synthetic data from rendered images. Color (RGB) images, projection images from depth data, point cloud and merged point cloud data models were obtained from datasets. With these frame-based data models, hand washing gestures were classified using 16 different neural network models, including models which are spatio-temporal. Also, on synthetic data, classification with 4 and 32 classes according to soap amount was performed. The proposed system uses multi thread-based pre-processing for camera images in real time for efficiency. In classifications, %100 accuracy was achieved with camera dataset, %56,5 and %48,5 accuracies were achieved with render dataset.
Benzer Tezler
- Monitoring hand hygiene via temporal video processing
Zamansal video işleme ile el hijyen takibi
FURKAN KASIM
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYŞENUR BUDAK
DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Hand gesture classification using features of multivariate synchrosqueezing transform based time-frequency matrix
Çok değişkenli senkron sıkıştırma dönüşümüne dayalı zaman-frekans matrisinin özelliklerini kullanarak el hareketi sınıflandırılması
LÜTFİYE SARIPINAR
Yüksek Lisans
İngilizce
2023
Bilim ve Teknolojiİzmir Katip Çelebi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONAN GÜREN
- 3D animation for hand preshaping
El önşekillendirmesi için 3B animasyonu
MEHMET SONER GÜLER
Yüksek Lisans
İngilizce
2006
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
PROF.DR. UĞUR HALICI
Y.DOÇ.DR. İLKAY ULUSOY
- Gesture recognition and customization on textile-based pressure sensor array
Tekstil tabanlı basınç sensörü dizisinde hareket algılama ve kişiselleştirme
İLKNUR ÇELİK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE