Dönüştürücü tabanlı çekişmeli üretici ağlar ile yüz ifadelerindeki değişimin analizi
Analysis of change in facial expressions with transformer-based generative adversarial networks
- Tez No: 809198
- Danışmanlar: DR. ÖĞR. ÜYESİ MERT BAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Matematik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 71
Özet
Yüz ifadeleri insanların duygularını iletmesinde önemli bir yol olmakla beraber; yoğunluğu, nüansı ve belirsizliği açısından da benzersizdir. Yüz ifadeleri, sözlü olmayan iletişimde insan duygularını ifade etmede ve anlamada önemli bir unsurdur. Deneyimlenen duygu ile ifade arasındaki ilişki karmaşıktır ve henüz tam olarak anlaşılamamıştır. Farklı duygular bazen aynı ifadeyi bile oluşturabilmektedir, çünkü duygular yüz kaslarının hareketleri ile ifade edilmektedir. Bu durum, insan duygularını anlama konusundaki birçok sorunun yalnızca başlangıcıdır. Duygu analizi konusunda birçok çalışma yapılmıştır ve her bir çalışma farklı teknikler, algoritmalar ve yöntemler kullanmıştır. Son yıllarda, dönüştürücü modeli, derin öğrenme alanındaki ilerlemelerin ana unsurlarından biri haline gelmiştir. 2017'deki ilk ortaya çıkışından sonra dönüştürücü mimarisi gelişerek, farklı türleri ortaya çıkmıştır. Genellikle doğal dil işlemede başarılı sonuçlar göstererek yaygınlaşmaya başlamış olsa da sonradan farklı alanlarda kullanılmaya başlanmıştır. Dönüştürücüler, dikkat mekanizmasına dayalı bir makine öğrenme modelidir. Bu tez kapsamında dönüştürücülerin duygu analizi alanında sentetik veri üretme üzerindeki başarısı analiz edilmiştir. Önceki çalışmalarda çekişmeli üretici ağ(GAN) modelinin üretici bölümünde evrişimsel sinir ağları (CNN) kullanılarak duygu analizindeki başarısı ele alınmıştır. Bu tez çalışmasında ise üretici bölümünde CNN modülü yerine dönüştürücü kullanılarak yeni bir model olarak dönüştürücü tabanlı GAN oluşturulmuştur. Çalışmanın temel odak noktası; görsellerdeki insan duygularının değiştirilmesinde dönüştürücü tabanlı üreticinin başarısını ölçmektir. Geliştirilen GAN modelinde farklı duygu sınıflarına ait daha gerçekçi sentetik veriler üretmek için Vision Transformer kullanılmış ve CNN ile karşılaştırıldığında AffectNet veri seti üzerinde daha başarılı olduğu gösterilmiştir.
Özet (Çeviri)
Facial expressions are an important means for conveying people's emotions. They are unique in terms of intensity, nuance, and ambiguity. Facial expressions play a significant role in nonverbal communication, expressing and interpreting human emotions. The relationship between experienced emotion and expression is complex and not yet fully understood. Different emotions can sometimes produce the same expression because emotions are expressed through the movement of facial muscles. This situation is only the beginning of many challenges in understanding human emotions. Numerous studies have been conducted on emotion analysis, each using different techniques, algorithms, and methods. In recent years, the transformer model has become one of the common elements of progress in the field of deep learning. Since 2017, the transformer architecture has evolved and given rise to different types. While initially gaining popularity for successful results in natural language processing, transformers have been subsequently employed in various domains. Transformers are machine learning models based on the attention mechanism. In this thesis, the success of transformers in generating synthetic data for sentiment analysis has been analyzed. Previous studies have explored the use of convolutional neural networks (CNN) in the generator part of the GAN model for sentiment analysis. However, in this thesis, a transformer-based GAN model is created by using transformers instead of a CNN module in the generator part. The main focus of the study is to measure the success of the transformer-based generator in altering human emotions in images. The Vision Transformer is employed in the developed GAN model to generate more realistic synthetic data for different emotion classes, and it has been demonstrated to be more successful than CNN-based generator model on the AffectNet dataset.
Benzer Tezler
- Novel deep learning algorithms for multi-modal medical image synthesis
Çok-kipli tıbbi görüntü sentezi için yeni derin öğrenme algoritmaları
ONAT DALMAZ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA ÇUKUR
- Transfer learning based super resolution of aerial images and the effects of the super resolution on object detection
Öğrenme transferi temelli hava aracı görüntülerinin süper çözünürlüğü ve süper çözünürlüğün nesne tespitine etkileri
ASLAN AHMET HAYKIR
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. İLKAY ÖKSÜZ
- Integrating morphology into automatic speech recognition: Morpholexical and discriminative language models for Turkish
Biçimbilimin otomatik konuşma tanımaya bütünleştirilmesi: Türkçe için biçimsözlüksel ve ayırıcı dil modelleri
HAŞİM SAK
Doktora
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT SARAÇLAR
DOÇ. DR. TUNGA GÜNGÖR
- On real-world face super-resolution and face image synthesis evaluation
Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine
ERDİ SARITAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Bilgisayar destekli malzeme ihtiyaç planlama sistemi ve uygulaması
Başlık çevirisi yok
AYSEL POLAT(ÇELİKÖRS)
