Joint face and landmark localization via recurrent convolutional network for event camera
Olay kamerası için yinelemeli evrişimsel ağ yoluyla tümleşik yüz ve referans noktası yeri belirleme
- Tez No: 955909
- Danışmanlar: DR. ÖĞR. ÜYESİ ARMAN SAVRAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yüz bulma, Face detection
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Yaşar Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Olay kamerasının yüksek zamansal çözünürlüğü, düşük güç tüketimi ve geniş dinamik aralığı, onu robotik, gözetim ve kimlik tanıma, sürücü izleme ve görsel konuşma tanıma gibi yeni ortaya çıkan yüz uygulamalarında giderek daha popüler hale getirmektedir. Yüzü ve yüz referans noktlarını tespit etmek, yüz uygulamalarında önemli bir ilk adımdır. Her iki görevi de gerçekleştirmek için, çok görevli bir kayıp fonksiyonu olan ortak bir ağ kullanıyoruz ve böylece gereksiz ayrı modellere olan ihtiyacı ortadan kaldırıyoruz. Bu, yüz şekillerinin esnek olan değişkenliğini karşılamak için deforme edilebilir evrişimle tasarlanmış bir bağlam modülü içeren boyun kısmına bağlı çok görevli baş aracılığıyla elde edilir. Boyunlar, yinelemeli evrişimli ağ katmanlardan girdi alan öznitelik piramit ağına (FPN) bağlanır. Farklı karakteristiklere sahip ECFacePose ve FES veri kümeleri üzerinde yaptığımız deneylerle, uzam-zamansal özniteliklere sahip FPN'nin önceki yüz konumlama yaklaşımlarından daha iyi performans gösterdiğini, üstün referans noktası ve etkili küçük yüz tespiti sağladığını gösteriyoruz. Deneylerimiz ayrıca, deforme edilebilir evrişim tabanlı bağlam modülünün, zamansal tutarlılık kaybının ve doğrultulmuş kanat kaybının ile başarım faydalarını doğrular. Dahası, 12 evrişim omurgasını inceleyerek bunları hafif, orta ağırlıkta ve ağır ağırlıkta sınıflara ayırıyor ve orta ağırlıktaki InceptionV3 ve DenseNet omurgalarının etkileyici başarım-verimlilik dengeleri sağladığını gösteriyoruz. Çalışmamız, FPN'nin yüz referans noktası ve küçük yüz algılama için kritik olduğunu ve daha büyük yüz algılamayı geliştirdiğini, aynı zamanda FLOP'ları dört katına ve bellek kullanımını iki katına çıkardığını gösteriyor
Özet (Çeviri)
The event camera's high temporal resolution, low power consumption, and wide dynamic range make it increasingly popular in robotics, surveillance, and emerging facial applications such as identity recognition, driver monitoring, and visual speech recognition. Localizing the face and landmarks is an essential first step in facial applications. We employ a joint network with a multi-task loss to realize both tasks, avoiding the need for redundant separate models. This is achieved through the multi-task head attached to the neck, which includes a context module designed with deformable convolutions to accommodate the non-rigid variability of facial shapes. The necks are connected to the feature pyramid network (FPN), which receives input from the recurrent convolutional network layers. By experimenting with two datasets of varying characteristics, the ECFacePose and FES datasets, we demonstrate that FPN with spatio-temporal features outperforms previous face localization approaches, achieving superior landmark localization and effective small face detection. Our experiments confirm the performance benefits of the deformable convolution-based context module, temporal consistency loss, and the Rectified Wing Loss. Furthermore, we explore 12 convolutional backbones, categorizing them into lightweight, middleweight, and heavyweight classes, and demonstrate that the middleweight InceptionV3 and DenseNet backbones deliver impressive performance-efficiency trade-offs. Our study illustrates that while FPN is crucial for landmark and small face detection and enhances larger face detection, it also increases FLOPs fourfold and doubles memory usage.
Benzer Tezler
- Arterıa maxillarıs ve segmentlerinin üç boyutlu BT anjiyografi ile topografik olarak incelenmesi
Topographic examination of maxillary artery and its segments with three-dimensional CT angiography
FEYZANUR OCAK
- Bilgisayarlı görü ile dijital ergonomik risk değerlendirme sistemi: REBA, RULA ve OWAS uygulaması
Digital ergonomic risk assessment system with computerized vision: REBA, RULA and OWAS application
ANIL ÖZKAN GEÇİCİ
- Transtibial amputelerde telerehabilitasyon ve yüz yüze spinal stabilizasyon eğitimlerinin yürüyüş biyomekaniği, denge ve eklem pozisyon duyusuna etkilerinin karşılaştırılması: Randomize kontrollü, tek kör çalışma
Comparison of the effects of telerehabilitation and face-to-face spinal stabilisation training on gait biomechanics, balance and joint position sense in transtibial amputees: A randomised controlled, single-blinded study
SEVİLAY SEDA BAŞ
Doktora
Türkçe
2024
Ankara Yıldırım Beyazıt ÜniversitesiFizyoterapi ve Rehabilitasyon Ana Bilim Dalı
Yükleniyor...
- Farklı sutur ossifikasyon derecesine sahip hastalarda, mini-vida destekli hızlı üst çene genişletmesinin; yüz, kafa tabanı ve temporomandibular eklem bölgesindeki etkilerinin 3 boyutlu sonlu elemanlar analizi ile incelenmesi
In patients with different degrees of suture oscification, mini-screw assisted rapid palatal expansion; investigation of its effects on the face, skull base and the temporomandibular joint region with 3d finite element analysis
CANER BÜYÜKKAYA
- Yüz maskesi, çenelik ve modifiye jasper jumper aygıtlarının kraniyofasiyal sistem üzerine etkilerinin sonlu elemanlar analizi ile incelenmesi
Evaluation of the effects of face mask, chincup and modified jasper jumper appliances on the craniofacial system by the finite element analysis
EMİNE BERİL KARAMANLI