Fusion of dynamic and static features in signature verification
İmza doğrulamada dinamik ve statik özelliklerin birleştirilmesi
- Tez No: 771572
- Danışmanlar: DOÇ. DR. NİHAN KAHRAMAN, DR. UMUT ULUDAĞ
- Tez Türü: Doktora
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Haberleşme Bilim Dalı
- Sayfa Sayısı: 93
Özet
Biyometri alanında, bireylerin el yazısı imzalarıyla başarılı bir şekilde doğrulanması, sınıf içi yüksek ve sınıflar arası düşük değişkenliğin olması nedeniyle en zorlu yöntemlerden biridir. Bu tezde, bu zorluğun üstesinden gelinmesine yardımcı olmak için, imzalama sırasında kağıt ve kalemin sürtünmesiyle ortaya çıkan ses, ayrı bir biyometrik veri olarak değerlendirilmiştir. Literatürde, GPDS ve MCYT gibi bazı erişime açık veri tabanları yalnızca statik imza görüntüleri içerir. Ancak bu çalışma için gerekli olan ses verilerini içeren erişime açık bir veri tabanı bulunmamaktadır. Bu nedenle, bu çalışmada 93 katılımcıdan örnekler toplanarak orijinal ve sahte imzalardan oluşan yeni bir veri tabanı sıfırdan oluşturulmuştur. Her katılımcıdan iki farklı kalem türü kullanarak iki farklı kağıt türüne imza atması istenmiştir. Her bir kağıt-kalem kombinasyonu için dört imza alınmıştır. Her imzadan çıkan ses, ayrı işletim sistemlerine sahip iki farklı cep telefonu modelinin dahili mikrofonları ile kayıt altına alınmıştır. Sonuçta imza sesleri ve bu seslere karşılık gelen imza görüntülerinden oluşan bir veri seti üretilmiştir. Bu iki veri tipi (imza sesi ve imza görüntüsü) hem birlikte hem de ayrı ayrı olarak biyometrik imza doğrulama için değerlendirilmiştir. Öznitelik çıkarma aşaması için ses verilerinin spektral akı başlangıç zarfı ve spektral merkez grafikleri çizilmiş ve bu grafikler görüntü (image) formatına dönüştürülmüştür. Bu görüntü dosyalarından yerel ikili desenler (LBP) ve ölçek değişmez özellik dönüşümü (SIFT) algoritmaları ile dinamik ses verilerini temsil eden özellik vektörleri elde edilmiştir. Statik imza görüntülerinin öznitelik vektörleri de LBP ve SIFT algoritmaları ile elde edilmiştir. Sınıflandırıcı olarak, tek-sınıf destek vektör makinesi (OC-SVM), her kullanıcıdan alınan orijinal imzalarla eğitilmiştir. Sahte imza örnekleri sadece test için kullanılmıştır. Bu çalışmada alternatif olarak önerilen ikinci yaklaşımda (derin öğrenme tabanlı), LBP ve SIFT yerine evrişimsel sinir ağları (CNN) tabanlı bir derin öğrenme algoritması ile öznitelik çıkarımının gerçekleştirildiği bir imza doğrulama sistemi geliştirilmiş ve derin öğrenme tabanlı olmayan (sığ) yaklaşımla karşılaştırılmıştır. İmza doğrulama yalnızca dinamik imza ses verileri, yalnızca statik imza görüntü verileri ve hem ses hem de görüntü verilerinin birleştirilmesiyle gerçekleştirilmiştir. Kullanılan farklı kalem-kağıt-telefon modeli kombinasyonlarına göre, yalnızca ses verileri kullanılarak elde edilen eşit hata oranları (EER), sığ öğrenme tabanlı yaklaşım için %1.08-5.38 (Ortalama: 3.02%) aralığında ve derin öğrenme tabanlı yaklaşım için %1.94-5.59 (Ortalama: 3.48%) aralığında olmuştur. Ayrıca, ses ve görüntünün birleştirilmesinin, sığ öğrenme tabanlı yaklaşımda %0.00-1.08 (Ortalama: 0.29%) EER aralığına ve benzer şekilde derin öğrenmeye dayalı yaklaşımda %0.00-2.15 (Ortalama: 0.67%) EER aralığına doğrulama başarısını yükselttiği gözlemlenmiştir.
Özet (Çeviri)
In biometrics, accurately verifying individuals with handwritten signatures is one of the most challenging problems due to high intra-class and low inter-class variability. In this thesis, to help overcome this difficulty, the sound produced by the friction of paper and pen during the signing process is evaluated as separate biometric data. Some datasets in the literature, like the GPDS and MCYT, which are accessible to the general public, only contain static signature images. However, the signature sound data required for this research is not available in any publicly accessible dataset. Therefore, in this study, a new dataset consisting of genuine and forged signatures is built from scratch by collecting samples from 93 participants. Each participant is asked to sign on two different paper types using two different pen types. Four samples are taken for each paper-pen combination. The sound emerging from each signature is recorded with the internal microphones of two particular mobile phone models including different operating systems. As a result, a dataset consisting of signature sounds and corresponding signature images is constructed. These two data types (signature sound and signature image) are evaluated for biometric signature verification, both together and separately. For the feature extraction stage, spectral flux onset envelope and spectral centroid graphs of the sound data are plotted, and these graphs are converted to image files. Afterward, feature vectors representing dynamic sound data are obtained from these image files employing local binary patterns (LBP) and scale-invariant feature transform (SIFT) algorithms. Feature vectors of static signature images are also obtained by performing LBP and SIFT algorithms. As a classifier, the one-class support vector machine (OC-SVM) is trained with only genuine signatures obtained from each user. Forgeries are used for testing only. In the second approach (deep learning-based) proposed as an alternative in this study, feature extraction is conducted with a convolutional neural network (CNN) based deep learning algorithm instead of LBP and SIFT. The results are compared with the shallow (non-deep) learning-based approach. Signature verification is performed with only dynamic signature sound data, only static signature image data, and the fusion of both sound and image data. According to different pen-paper-phone model combinations used, the equal error rates (EER) obtained using only sound data are in the 1.08-5.38% (Average: 3.02%) range for the shallow learning-based approach and the 1.94-5.59% (Average: 3.48%) range for the deep learning-based approach. It is also observed that the fusion of sound and image further increased the verification success to EER of 0.00-1.08% (Average: 0.29%) interval for the shallow learning-based approach, similarly EER of 0.00-2.15% (Average: 0.67%) interval for the deep learning-based approach.
Benzer Tezler
- Kanal tümleştirme mekanizmalı dinamik konvolüsyon ile derin öğrenme
Deep learning via dynamic convolution with channel fusion mechanism
ELİF ECEM AKBABA
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL
- Dynamic fusion networks for predicting saliency in videos
Videolarda belirginlik tahmini için dinamik tümleştirme ağları
AYSUN KOÇAK ÖZCAN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ERKUT ERDEM
DOÇ. DR. İBRAHİM AYKUT ERDEM
- Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight
Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş
ARSLAN ARTYKOV
Yüksek Lisans
İngilizce
2023
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Learning visual saliency for static and dynamic scenes
Sabit ve hareketli sahneler için görsel belirginlik öğrenimi
YASİN KAVAK
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İBRAHİM AYKUT ERDEM
YRD. DOÇ. DR. MEHMET ERKUT ERDEM
- Enabling dynamics in face analysis
Başlık çevirisi yok
HAMDİ DİBEKLİOĞLU
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversiteit van AmsterdamPROF. DR. THEO GEVERS
PROF. DR. A. W. M. SMEULDERS