Vision transformer ve retentive network yöntemleri ile görüntü üzerine dugu analizi
Image-based sentiment analysis with vision transformer and retentive network methods
- Tez No: 944694
- Danışmanlar: PROF. DR. YAKUP GENÇ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayarla görme, Derin öğrenme, Görüntü işleme, Görüntü işleme algoritmaları, Görüntü işleme yöntemleri, Görüntü işleme-bilgisayarlı, Computer vision, Deep learning, Image processing, Image processing algorithms, Image processing methods, Image processing-computer assisted
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda bilgisayarla görme ve veri odaklı modelleme alanındaki ilerlemeler sayesinde video duygu analizi alanında önemli gelişmeler yaşanmıştır. Video içeriğindeki duygusal ifadelerin anlaşılması, farklı alanlarda giderek daha fazla önem kazanmakta ve bu amaçla doğruluk ve verimliliği artırmak üzere yeni yöntemler geliştirilmektedir. Bu çalışmada, Retentive Networkler ile Vision Transformerların entegrasyonu video verilerindeki duygu analizinde kullanılan bir çerçeve olarak incelenmiştir. Geleneksel görüntü tabanlı değerlendirmelere ek olarak, performans ve kaynak kullanımı arasında denge sağlamak amacıyla kısa video segmentlerinde kare örnekleme yöntemi uygulanmıştır (örneğin, saniyede 7 kare). Ardışık kareler arasındaki yüzler mekânsal tutarlılık kullanılarak takip edilmiş ve geçerli yüz dizileri üzerindeki sonuçların ortalaması alınarak duygu sınıflandırması gerçekleştirilmiştir. YOLO, SSD, Faster R-CNN, MTCNN, Haar Cascades ve RetinaFace gibi çeşitli yüz tespit modelleri test edilmiş olup, güvenilir performansı ve hafif hesaplama gereksinimi nedeniyle RetinaFace tercih edilmiştir. Önerilen RetViT modeli, video tabanlı veri setinde 0.80 doğruluk oranı elde ederek, dinamik duygusal ifadeleri yakalamada etkinliğini göstermiştir. Karşılaştırmalı sonuçlar, önerilen modelin doğruluk, uyarlanabilirlik ve ölçeklenebilirlik açısından geleneksel modellere göre tutarlı gelişmeler sağladığını ortaya koymaktadır. Vision Transformerlar ve benzeri mimariler görüntü sınıflandırma görevlerinde yaygın olarak kullanılmış olsa da, bu çalışma onların video tabanlı duygu analizinde umut vadeden uygulamalarını vurgulamakta ve gerçek zamanlı uygulamalar gibi alanlarda gelecekteki araştırmalar için zemin hazırlamaktadır.
Özet (Çeviri)
The field of video sentiment analysis has seen considerable progress in recent years, supported by advances in computer vision and data-driven modeling. As understanding emotional expressions in video content gains importance across various domains, new methods are being developed to improve accuracy and efficiency. This study explores the integration of Retentive Networks and Vision Transformers as a framework for analyzing emotions in video data. In addition to conventional image-based evaluations, an extended approach was applied to short video segments. Frames were sampled at reduced frequency (e.g., 7 frames per second) to balance performance and resource usage. Faces were tracked across consecutive frames using spatial consistency, and emotions were classified by averaging results across valid face sequences. Among several face detection models tested—including YOLO, SSD, Faster R-CNN, MTCNN, Haar Cascades, and RetinaFace—RetinaFace was selected for its reliable performance and lightweight computational demand. Comparative results show that the proposed combination achieves consistent improvements over traditional models in terms of accuracy, adaptability, and scalability. While Vision Transformers and related architectures have been widely used in image classification tasks, this work highlights their promising application in video-based emotion analysis and sets the stage for future exploration, including potential use in real-time settings such as online meetings.
Benzer Tezler
- Novel deep learning based approaches for clutter removal and target detection in GPR
Ynr'de kargaşa giderme ve hedef algılama için yeni derin öğrenme tabanlı yaklaşımlar
YAVUZ EMRE KAYACAN
Doktora
İngilizce
2026
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER
- Deep learning-based building segmentation using high-resolution aerial images
Yüksek çözünürlüklü hava görüntüleri kullanarak derin öğrenme temelli bina bölütlemesi
BATUHAN SARITÜRK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Urinary stone classification by using deep learning techniques
Derin öğrenme teknikleri kullanılarak idrar taşı sınıflandırması
AYBÜKE KEÇECİ KANMAZ
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYaşar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET SÜLEYMAN ÜNLÜTÜRK
- Development of porous ceramics for wastewater purification
Atık su filtrelenmesi için gözenekli seramiklerin geliştirilmesi
DAMLA ZEYDANLI
Doktora
İngilizce
2019
Seramik Mühendisliğiİstanbul Teknik ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. SÜLEYMAN AKMAN
DOÇ. DR. ÇEKDAR VAKIF AHMETOĞLU
- Kendini iyileştirebilen hidrojel esaslı kontakt lens malzemesi geliştirilmesi
Development of self-healing hydrogel based contact lens material
BÜŞRA KAŞAĞICI
Yüksek Lisans
Türkçe
2023
Mühendislik BilimleriSakarya ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. MAHMUT ÖZACAR