Geri Dön

Deep learning based real-time sequential facial expression analysisusing geometric features

Derin öğrenme tabanlı geometrik özellikleri kullanarak gerçek zamanlı sıralı yüz ifadesi analizi

  1. Tez No: 824545
  2. Yazar: TALHA ENES KÖKSAL
  3. Danışmanlar: DR. ÖĞR. ÜYESİ ABDURRAHMAN GÜMÜŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İzmir Yüksek Teknoloji Enstitüsü
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 72

Özet

Bu tezde, çeşitli veri setlerinden makro ve mikro yüz ifadesi dizileri, temel duygulardan birinde sınıflandırmak için sinir ağları kullanılarak eğitilmiştir. Makro ifade deneylerinde, dizilerin her bir karesi için MediaPipe FaceMesh çözümü kullanılarak yüz işaretleri çıkarılır ve bu noktalara dayalı olarak hem uzamsal hem de zamansal bilgiler kullanılarak geometrik özellikler oluşturulur. Öznitelikleri sınıflandırmak için ConvLSTM2D ve ardından çok katmanlı algılayıcı blokları kullanılır. Gerçek zamanlı sınıflandırma performansı elde etmek için, tüm algoritmalar GPU üzerinde çalışacak şekilde uyarlanmıştır. Makro ifadeler için önerilen yöntem CK+, Oulu-CASIA VIS, Oulu-CASIA NIR ve MMI veri setleri ile test edilmiştir. Mikro ifade deneylerinde geometrik özelliklerin yanı sıra MediaPipe tarafından sağlanan blendshape özellikleri de kullanılmaktadır. Sınıflandırma performansını iyileştirmek için, mikro ifadelerin ince yüz hareketlerini büyütmek için Faz Tabanlı Video Hareket İşleme tekniği kullanılır. Deneyler, ConvLSTM1D'yi takip eden çok katmanlı algılayıcı bloklardan oluşan aynı sınıflandırma katmanları üzerinde ayrı ayrı yürütülür. Mikro ifadeler için önerilen yöntem, SAMM ve CASME II veri setleri ile test edilmiştir. Bu çalışmada kullanılan veri setlerine, ilgili lisans sözleşmelerinin imzalanmasından sonra erişilmiştir. Her veri setinin akademik amaçlar için kullanmaya uygunluğu sözleşmelerde belirtilmiş ve bu anlaşmalar kapsamında kullanmıştır. Tezde sadece bilgilerinin yayınlarda kullanılmasına izin veren kişilerden elde edilen verilere yer verilmiştir. Her veri seti için lisans sözleşmeleri ekler bölümünde bulunmaktadır.

Özet (Çeviri)

In this thesis, macro and micro facial expression sequences from various datasets are trained using neural networks to classify them in one of the basic emotions. In macro expression experiments, for each frame of the sequences facial landmarks are extracted using MediaPipe FaceMesh solution and geometric features using both spatial and temporal information based on these landmarks are created. To classify the features, ConvLSTM2D followed by multilayer perceptron blocks are used. In order to achieve real time classification performance, all algorithms are implemented compatible to run on GPU. The proposed method for macro expressions is tested with CK+, Oulu-CASIA VIS, Oulu-CASIA NIR and MMI datasets. In micro expression experiments, apart from geometric features also blendshape features provided by MediaPipe are used. In order to improve classification performance, Phase-Based Video Motion Processing technique is used to magnify subtle facial movements of micro expressions. Experiments are conducted separately on same classification layers that consist of ConvLSTM1D followed by multilayer perceptron blocks. The proposed method for micro expressions is tested with SAMM and CASME II datasets. The datasets utilized in this study were accessed upon signing corresponding license agreements. Each dataset is specifically designated for academic purposes and is made available under these agreements. Only data from subjects who provided consent for their information to be used in publications was included in the thesis. The license agreements for each dataset can be found in the appendices section.

Benzer Tezler

  1. Prediction of risky maritime encounters in narrow and congested waterways via clustering based ensemble machine learning and sequential deep learning

    Dar ve trafiği yoğun su yollarında riskli gemi karşılaşmalarının kümeleme tabanlı yapay öğrenme ve sıralı derin öğrenme ile tahminlenmesi

    MUHAMMET FURKAN ORUÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YİĞİT CAN ALTAN

  2. Gerçek zamanlı nesne tanıma sistemlerinde microservis yaklaşımı ile performans artırımı

    Real-time object detection systems performance increase with microservice approach

    MEHMET ALİ SERTTAŞ

    Doktora

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMaltepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. EMİN MURAT ESİN

  3. Vı̇deo tabanlı otomatı̇k araç tespı̇tı̇ ı̇çı̇n hı̇brı̇t bir derı̇n öğrenme mı̇marı̇sı̇

    A hybrid deep learning architecture for video-based automatic vehicle detection

    MOHAMMED ABDULJABBAR ZAID AL BAYATI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUHAMMET ÇAKMAK

  4. Image reconstruction with deep learning and applications in MR images

    Derin öğrenme ile görüntü geriçatımı ve MR görüntülerinde uygulamaları

    AMIR AGHABIGLOU

    Doktora

    İngilizce

    İngilizce

    2022

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU

  5. Short term electricity load forecasting with deep learning

    Derin öğrenme ile kısa dönemli elektrik yük talep tahmini

    İBRAHİM YAZICI

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA