Geri Dön

İşe alım süreçlerinde yapay zekâ tabanlı duygu ve davranış analizi ile performans tahmini: Video, ses ve metin verilerinin çok modlu işlenmesi

Ai-based emotion and behavior analysis and performance prediction in recruitment processes: Multimodal processing of video, audio, and text data

PDF İndir

  1. Tez No: 1023623
  2. Yazar: BAHAR DEMİR
  3. Danışmanlar: DOÇ. DR. ATINÇ YILMAZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: İstanbul Beykent Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bu çalışmada, işe alım süreçlerinin özellikle ilk mülakat ve ön değerlendirme aşamalarında adaylara ilişkin görsel, işitsel ve metinsel sinyallerden elde edilebilen duygu ve davranış ilişkili ipuçlarının modellenebilirliği incelenmiştir. Çalışmada kullanılan performans tahmini ifadesi, gerçek işe alım sonrası çalışan performansı, kurum içi başarı göstergeleri veya uzun dönemli verimlilik anlamına gelmemekte; mülakat-benzeri aday ön değerlendirme skorları ve duygu/davranış ilişkili proxy hedeflerle sınırlandırılmaktadır. Çalışma üç aşamalı deneysel bir tasarımla yürütülmüştür. İlk aşamada görsel modalite için RAF-DB üzerinde ResNet-50, işitsel modalite için RAVDESS-6 üzerinde HuBERT, metin modalitesi için GoEmotions-6 üzerinde RoBERTa tabanlı tek modlu temel hatlar kurulmuştur. İkinci aşamada CMU-MOSEI üzerinde hizalı çok modlu füzyon yaklaşımları değerlendirilmiştir. Üçüncü aşamada ise First Impressions V2 üzerinde mülakat-benzeri ana çok modlu deney bloğu oluşturulmuştur. Bu kapsamda tek modlu modeller ile early fusion, late fusion, stacking ve gated fusion yaklaşımları karşılaştırılmıştır. Tüm deneylerde model seçimi doğrulama kümesi üzerinden yapılmış, test kümesi yalnızca nihai raporlama için kullanılmıştır. Bulgular, çok modlu füzyon başarısının yalnızca füzyon mimarisine değil; görev türü, veri yapısı, hizalama geçerliliği, split protokolü ve modalite uyumuna bağlı olduğunu göstermektedir.

Özet (Çeviri)

In this study, the modelability of emotion and behavior-related cues derived from visual, auditory, and textual signals associated with candidates was examined, particularly in the initial interview and preliminary evaluation stages of recruitment processes. The term performance prediction used in this study does not refer to actual post-hiring employee performance, organizational performance indicators, or long-term productivity; rather, it is limited to interview-like candidate pre-evaluation scores and emotion-/behavior-related proxy targets. The study was conducted through a three-stage experimental design. In the first stage, unimodal baselines were established using ResNet-50 on RAF-DB for the visual modality, HuBERT on RAVDESS-6 for the auditory modality, and RoBERTa-based models on GoEmotions-6 for the textual modality. In the second stage, aligned multimodal fusion approaches were evaluated on CMU-MOSEI. In the third stage, a main interview-like multimodal experimental block was constructed on First Impressions V2. Within this scope, unimodal models and early fusion, late fusion, stacking, and gated fusion approaches were compared. In all experiments, model selection was performed on the validation set, while the test set was used only for final reporting. The findings indicate that the success of multimodal fusion depends not only on the fusion architecture, but also on the task type, data structure, alignment validity, split protocol, and modality compatibility.

Benzer Tezler

  1. Tez No

    948111

    Sentiment-driven forecasting of short-term asset price directions using large language models

    Büyük dil modelleri kullanarak varlık fiyatlarının kısa vadeli yönlerinin duygu odaklı tahmini

    AHMET BERKAY GÜLTEKİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    Veri Mühendisliği ve İş Analitiği Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. ALP ÜSTÜNDAĞ

  2. Tez No

    948799

    The impact of artificial intelligence (AI) on the traditional recruitment process

    Yapay zeka (YZ)'nın geleneksel işe alım süreci üzerindeki etkisi

    LATİFA ELADNANI

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    İşletmeİstanbul Aydın Üniversitesi

    İşletme Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT UNANOĞLU

  3. Tez No

    1001778

    Türk kamu personel seçim sisteminin analizi ve yapay zekâ tabanlı bir model önerisi

    Analysis of the Turkish public personnel selection system and proposal of an artificial intelligence-based model

    ÜMİT ARSLAN

    Doktora

    Türkçe

    Türkçe

    2026

    Kamu YönetimiHacettepe Üniversitesi

    Siyaset Bilimi ve Kamu Yönetimi Ana Bilim Dalı

    PROF. DR. DOĞAN NADİ LEBLEBİCİ

  4. Tez No

    662815

    Yapay zeka tabanlı personel seçim sistemi uygulaması

    An application of artificial intelligence based staff selection system

    ÖMER FARUK EREKEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilim ve TeknolojiDokuz Eylül Üniversitesi

    Yönetim Bilişim Sistemleri Ana Bilim Dalı

    DOÇ. DR. ÇİĞDEM TARHAN

  5. Tez No

    982958

    An al-based approach to academic quality quantification

    Akademik kalite ölçümü için yapay zeka tabanli bir yaklaşim

    ZEYNEP KARAMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Yapay Zeka Ana Bilim Dalı

    DOÇ. DR. ERCAN ATAM

    DR. ÖĞR. ÜYESİ ŞAZİYE BETÜL ÖZATEŞ

Geri Dön