Bilgisayarlı görü ile yüz yüze sınavlarda şüpheli davranışların ortaya çıkarılması için derin öğrenme çerçevesi tasarımı
Designing a deep learning framework for unveiling suspicious behavior in face-to-face exams with computer vision
- Tez No: 845927
- Danışmanlar: DR. ÖĞR. ÜYESİ EDİZ ŞAYKOL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Milli Savunma Üniversitesi
- Enstitü: Atatürk Stratejik Araştırmalar ve Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 110
Özet
Bu çalışma, yüz yüze sınavlarda kullanılan dijital kameralar tarafından kaydedilen görüntülerin analizi ve anormallik tespiti üzerine odaklanmakta ve sınavlardaki aktiviteleri yüksek doğrulukla tespit etmek için yeni bir model geliştirmeye odaklanmaktadır. Öncelikle, bu çalışma özelinde COPYNet Veri Kümesi oluşturulmuştur. Yaklaşık 30.000 görüntüden oluşan oldukça büyük bir koleksiyon olan bu veri kümesi, anormallik tespit algoritmalarının geliştirilmesi, doğrulanması ve performansının değerlendirilmesi için kullanılmaktadır. Veri kümesi, her biri belirli bir davranış kategorisiyle ilişkilendirilen beş farklı gruba dikkatlice ayrılmıştır. Bu amaçla, görüntü sınıflandırma probleminin çözümünde yüksek performans elde etmek için transfer öğrenme yöntemi, ResNet ön eğitimli modeli kullanılarak Faster R-CNN ve YOLOv5 algoritmalarıyla ayrı ayrı hibritleştirilmekte ve normal davranışı modelleyerek bir anormallik puanı elde etmek için derin bir sinir ağı çerçevesi (COPYNet) oluşturulmaktadır. COPYNet çerçevesi 0,90'lık bir hassasiyet, 0,88'lik bir geri çağırma ve 0,88'lik bir doğruluk sergilemektedir. Bu rakamlar, mevcut literatürle karşılaştırıldığında anormallik tespitinde önemli bir sıçramaya işaret etmektedir. Sunulan sonuçlar, modelin farklı davranış sınıflarını doğru bir şekilde ayırt etme yeteneğini vurgulamakta ve modeli yüz yüze sınavlar sırasında şüpheli davranışları tespit etme zorluğunun üstesinden gelmek için bir araç haline getirmektedir. Sonuç olarak, model olağandışı bir aktivite tespit ettiğinde, gözetmene gönderilebilecek bir uyarıyı tetiklemeyi ve sınav gözetmenleri için bir karar destek mekanizması olarak çalışmayı amaçlamaktadır. Elde edilen başarı oranlarına göre çalışmamız, yüz yüze sınavlar sırasında şüpheli davranışları tespit etmek için literatürdeki önceki çalışmalara kıyasla umut verici bir çözüm sunmaktadır.
Özet (Çeviri)
This study focuses on the analysis and anomaly detection of images recorded by digital cameras used in face-to-face exams, and focuses on developing a new model to detect activities in exams with high accuracy. First of all, COPYNet Dataset is created as the centerpiece of this work. This dataset, which consists of a sizable collection of about 30,000 images, is essential for developing, verifying, and evaluating the performance of anomaly detection algorithms. The dataset is carefully segmented into five different groups, each of which is associated with a certain behavioral category essential for anomaly detection. For this purpose, in order to achieve high performance in solving the image classification problem, the transfer learning method is separately hybridized with the Faster R-CNN and YOLOv5 algorithms using ResNet pretrained model, and a deep neural network framework (COPYNet) is created to obtain an anomaly score by modeling normal behavior. Notably, COPYNet framework exhibits an exceptional precision of 0.90, recall of 0.88 and accuracy of 0.88. These numbers signify a substantial leap in anomaly detection when compared to the existing literature. The presented results highlight the model's ability to accurately discern between different activity classes, rendering it a promising tool for tackling the challenge of detecting suspicious behaviors during face-to-face exams. As a result, when the model detects an unusual activity, it is aimed at triggering an alert that can be sent to the proctor and operate as a decision support mechanism for exam invigilators. Based on the success rates obtained, our study offers a promising solution for detecting suspicious behavior during face-to-face exams compared to previous studies in the literature.
Benzer Tezler
- Bulaşıcı hastalıkların eğitim üzerindeki etkilerinin azaltılması için derin öğrenme ve nesnelerin interneti tabanlı bir sistem önerisi
A deep learning and internet of things based system proposal to reduce the effects of infectious diseases on education
SEYFULLAH ARSLAN
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKütahya Dumlupınar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FIRAT AYDEMİR
- Durgun görüntülerden yüz ifadelerinin tanınması
Facial expression recognition from static images
BİLGE SÜHEYLA AKKOCA
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- Destek vektör makineleri kullanarak gömülü sistem üzerinde yüz tanıma uygulaması
Face recognition application on embedded system using support vector machines
HİLAL GÜNEREN
Yüksek Lisans
Türkçe
2015
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. BURCU ERKMEN
- Deep convolutional neural network based unconstrained ear recognition
Derin evrişimsel sinir ağı tabanlı kısıtsız kulak tanıma
FEVZİYE İREM EYİOKUR
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL
- Scale and pose invariant real-time face detection and tracking
Ölçekten ve pozdan bağımsız gerçek zamanlı yüz bulma ve izleme
MEHMET ŞERİF BAYHAN
Yüksek Lisans
İngilizce
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN