Geri Dön

Prediction of personality traits from videos by using machine learning algorithms

Makine öğrenmesi algoritmalarını kullanarak videolardan kişisel özelliklerin tahmin edilmesi

PDF İndir

  1. Tez No: 607244
  2. Yazar: ERTAN TAŞ
  3. Danışmanlar: PROF. DR. MUSTAFA ERSEL KAMAŞAK
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 72

Özet

Bu tezde yapay sinir ağları, makine öğrenmesi ve görüntü işleme teknikleri kullanılarak bir kamera karşısındaki insanın kişisel özelliklerinin otomatik tespit edilebilmesini amaçlayan yapay zeka tabanlı çalışma anlatılmıştır. Insanlarin duygu ve davranışlarının analizi ile kisisel özelliklerinin çıkarımı özellikle insan kaynakları sektörünün vazgeçilmez bir unsurudur. Ayrıca bir bireyin ruh sağlığı tahlili ve kisisel özelliklerinin çıkarımı güvenlik sektöründe de önemli bir ögedir. Bir kişinin beden dili yeterince analiz edilirse, bu kişinin kişilik özellikleri hakkında çok fazla bilgi edinilebilir. Bu çalışmanın temel görevi yapay zekanin alt dali olan makina öğrenmesi teknikleri ve yapay sinir ağlarını kullanarak psikoloji biliminin 5 büyük faktör modeli kisilik boyutlarının, görüntü isleme teknikleri ile video görüntülerinden tespit edilmesidir. Çalışmanın amacı bir kişinin kamera karşısında sergilediği davranışlardan o kişiye ait kişisel özelliklerin yapay zeka tarafından tahmin edilebilmesini sağlamak, bunu yaparken de hem video görüntülerinden hem de video görüntülerinden elde edilecek kişinin duygusal durumundan yararlanmaktır. Çalışma kapsamında 5 önemli kişisel özelliğin tespiti üzerinde durulmuştur. Bunlar“yeni deneyimlere açıklılık”,“sorumluluk”,“dışadönüklülük”,“anlayış”ve“duygusal dengesizlik”tir. Bu kişilik özelliklerinin tespitinde kullanılacak model yapay zekaya,“First Impressions V2 (CVPR'17)”isimli yarışmada sağlanan veri setindeki etiketli kliplerin yapay sinir ağı yapılarından geçirilmesi ile öğretilmiştir. Bu veri seti toplamda 10000 adet 15 saniyelik klipler içermektedir. Bu klipler kamera karşısında bulunan ve konuşan insanların 3000 farklı yüksek çözünürlüklü youtube videosundan 10000 adet 15 saniyelik kliplerin çıkarılması ile oluşturulmuştur.Bu videoların içeriği genelde kamera karşısına konuşan bir insandan ibarettir. Videolar genelde kişilerin bireysel olarak internet üzerinde yapılan görüntülü iş mülakatlarını, oyun veya ürün tanıtımlarını içermektedir. Bu videolardan yararlanabilmek için öncelikle videoların resimlere çevrilmesi sağlanmıştır. Bu videolar her saniye için yaklaşık 30 resim içermektedir. Ancak yapay sinir ağına bu kadar yüksek miktarda resmi girdi olarak vermek eğitim süresini yüksek miktarda artırır. Bu videolar genelde kamera karşısında konuşan insanları içerdiğinden, bir saniye içerisindeki 30 resimden büyük çoğunluğu birbirine benzemektedir. Bu nedenle 15 saniyelik videonun içerdiği 450 resim arasından birbirine en az benzeyen resimler yani eğitim için en önemli resimler çıkartılmıştır. Resimlerin birbirine benzerliklerini hesaplarken işlem karmaşıklığını azaltmak için“Manhattan Distance (L1 norm)”formülü kullanılmıştır. Bu hem eğitimin verimini artıran hem de süreyi azaltan bir yöntem olmuştur. Yapay zeka tabanlı bu sistem aynı zamanda başka bir yapay sinir ağından ve veri setinden öğretilmiş duygu analizi modelinden de faydalanarak bu video etiketlerine duygusal durum etiketlerini de eklemiştir. Böylece sadece kişinin kamera karşısında sergilediği tavırlardan değil aynı zamanda bu tavırların sebep olduğu duygusal durumlar da kişisel özelliklerin çıkarımında kullanılmıştır. Bu çalışmanın bu alanda yapılan diğer çalışmalardan en büyük farkı da budur. Başka bir veri setinden yararlanılarak oluşturulan model sayesinde videolardaki kişilerin duygusal özelliklerinin de tespiti sağlanmış ve bu duygular ile kişisel özellikler arasındaki ilişki incelenmiştir. Kişisel özelliklerin tahminini sağlayan model hem duygusal özelliklerden hem de video'dan öğrenen modellerin birleşimi ile gerçeklenmiştir. Duygusal özelliklerin tespiti için önceden eğitilmiş“Extended Cohn-Kanade”ile“FER+”veri setlerinden yararlanan derin sinir ağı kullanılmıştır. Model kullanılmadan önce doğruluğunu artırmak için kaggle tarafından sunulan“Facial Expressions”resim veri setinden de öğrenim gerçeklenmiştir. Öğrenilen model video içerisinde yer alan resimlere uygulanmış ve üretilen duygusal analiz tahminleri yeni bir bilgi olarak o video için kaydedilmiştir. Duygusal durumun eğitimi için“iğrenmiş”,“şaşırmış”,“üzgün”,“sinirli”,“korkmuş”,“mutlu”ve“doğal”olmak üzere 7 farklı duygusal özelliğin tespiti üzerinde durulmuştur. Çoklu sınıf lojistik regresyon (softmax) yöntemi ile videolardan çıkartılan duygusal durum bilgileri kullanılarak bir model eğitilmiştir. Bu modelin eğitilmesi için girdi olarak videolardan tespit edilen genel duygusal durum olasılıkları kullanılmıştır.Yani ilk eğitilen model sadece duygusal durum üzerinden bir öğrenme gerçekleştirmiştir. Ardından softmax modeli test veri setine uygulanmış ve her bir video için 5 temel kişisel özelliğin olasılığı hesaplanmıştır. Softmax modelinin ürettiği kişisel özellik tahminleri videonun sadece duygusal durum bilgilerinden yararlanılarak oluşturulmuştur. Dolayısıyla bu modelle beraber aynı zamanda videoların girdi olarak verildiği sinir ağı modeli de eğitilmiştir. Descriptor Aggregation Network ağı kullanılarak videolarda yer alan önemli resimler girdi olarak ağın eğitimine verilmiştir. Ardından test videoları üzerinde model çalıştırılmış ve videolar için 5 temel kişisel özelliğin olasılığı bu model içinde ortaya çıkmıştır. Özetle, bizim çalışmamızda diğer çalışmalardan farklı olarak yeni bir model ve veri seti ile önce insanların duygularını analiz edebilen bir model geliştirilmiş sonrasında bu duygusal analiz modelini“ChaLearn”tarafından sunulan video veri seti üzerinde çalıştırarak video içerisindeki insanların zamana bağlı bulundukları duygusal durumları ortaya çıkartılmış, böylece kişisel özelliklerin duygular üzerindeki etkisi incelenebilmiş ve kişisel özellik tahmininde duygu analizi modelinden de faydalanılabilmiştir. Tez kapsamında; Kişinin duygusal durumunun(şaşırmış,sinirli vb.) tahmini için model eğitimi, video görüntülerinden resimlerin çıkartımı, videolardan çıkarılan resimlerin duygusal durumu tahmin eden modelden geçirilmesi,Kişinin duygusal durumu ile kişisel özellikleri arasındaki ilişkinin incelenmesi, videolar ve videolara ait duygusal bilgi kullanılarak kişinin kişisel özelliklerini tahmin edebilen modelin geliştirilmesi üzerine çalışmalar yapılmıştır. Başka bir modelden üretilmiş duygusal durum bilgilerinin de hesaba katılması doğruluğun bir miktar artmasını sağlamıştır. Ancak dikkat edilmesi gereken nokta bu çalışmada sadece görsel veriler ele alınmıştır. İşitsel veriler çalışmaya dahil edilmemiştir. Sonuç olarak, yapay zekanın eğitilmesinde kullanılmayan yani daha önce yapay zekaya gösterilmeyen 2000 test videosu yapay zekaya gösterildiğinde, kamera önünde konuşan kişilerin kişilik özelliklerini, duygu analizinden de faydalanarak ortalama 0.8951 doğrulukla tahmin edebilen, insan kaynakları, psikoloji, sağlık ve güvenlik gibi sektörlerde kullanılabilecek, yapay zeka tabanlı bir sistem geliştirilmiştir. Ayrıca duygusal durum ile kişisel özellikler arasındaki ilişkinin tespit edilmesi ve bu ilişkinin kişisel özellik tahmininde kullanılması durumunda doğruluğun artırılabileceğinin saptanması çalışmanın en önemli çıktılarından biri olmuştur.

Özet (Çeviri)

Determining the personality traits of people by analyzing their behavior is an important task for especially human resources. It is also a crucial issue for security to identify personality traits and mood at a moment. If a person's body language is adequately analyzed, a lot of information can be obtained about that personality traits. There are many theories in psychology science that describe and categorize the personality traits of people. According to one of these theories, the personality traits of people are determined by 5 major factor dimensions: Extraversion, agreeableness, conscientiousness, neuroticism and openness. In psychology, these five traits are called ``big 5 personality traits'' and these traits are known as the most basic 5 dimensions that reveal the character of person. In this thesis, machine learning and image processing techniques was developed to determine these personality traits automatically from the video recording of a person. Personality traits were taught to artificial neural network structures using approximately 8.000 labeled videos of which is 15 seconds long. In doing so, this system based on artificial intelligence also benefits from the emotions of the persons. A system based on artificial intelligence, many variables are taken into account. An artificial intelligence generates an estimate based on the thousands of data it has learned before. While learning from the data, it forms a model of the information that affects the result on the data.In this way, artificial intelligence will generate a prediction using the generated model. This will enable the artificial intelligence-based system to produce more accurate and consistent results than a human. It will also be able to produce much faster predictions.This is why an automated system has been developed to predict personality analysis. Personality is an abstract concept. Therefore, different people will have different opinions for this concept. For example, most of the predictions produced by people for a car image will be the same. However, the predictions produced for the personality traits of a person will be much more varied.Therefore, an artificial intelligence model trained using hundreds of people 's evaluations on the same person will be able to produce estimates that a much larger audience can approve.Both will be more accurate and will produce consistent estimates. At the same time, relationship between a person's emotional state and personality traits was used to determine the personality traits. Taking advantage of emotion analysis in predicting personality traits is one of the most important contribution of this study. 7 different emotional states have been proposed in literature: Disgust, surprise, sadness, fear, happiness, anger and neutral. The emotional state of a person is also extracted from video records and used as side information to determine personality traits. The system is tested using 2000 videos that were not used in training. The developed system was able to predict the personal traits with over 80\% accuracy from 15 second long video recordings. In summary, an automated system based on artificial intelligence has been developed to predict the personality traits of people from videos which may be used in human resources, psychology, health and security etc.

Benzer Tezler

  1. Tez No

    574043

    Multimodal video-based personality recognition using long short-term memory and convolutional neural networks

    Çok kipli uzun kısa-süreli bellek ve evrişimli sinir ağları ile videoda kişilik tanıma

    SÜLEYMAN ASLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. UĞUR GÜDÜKBAY

  2. Tez No

    705070

    Player modeling by using unsupervised learning methods

    Gözetimsiz öğrenme yöntemleri ile oyuncu modelleme

    MEHMET FATİH KAVUM

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı

    DOÇ. DR. SANEM SARIEL UZER

  3. Tez No

    669858

    Lise öğrencilerinin sahip olduğu kişilik türleri ve internet becerilerinin siber zorbalık açısından incelenmesi

    Investigation of high school students' personalities and internet skills in terms of cyberbullying

    ÖNDER YILDIRIM

    Doktora

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı

    DOÇ. DR. ENGİN KURŞUN

  4. Tez No

    749683

    Genç erişkinlerde problemli sosyal medya kullanımının narsisistik kişilik özellikleri ve psikolojik belirtilerle ilişkisinin incelenmesi

    Investigation of the relationship of problematic social media use with narcissistic personality traits and psychological symptoms in young adults

    VEYSEL GÖKHAN KARACA

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Psikolojiİstanbul Gelişim Üniversitesi

    Psikoloji Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NECMETTİN AKSOY

  5. Tez No

    771325

    Açık kaynak istihbaratı (OSINT) için Türkçe içerik temelli kişilik özellikleri tahmini

    Prediction of Turkish content-based personality traits for open source intelligence (OSINT)

    MUHAMMED ALİ KOŞAN

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    PROF. DR. HACER KARACAN

    DR. ÖĞR. ÜYESİ BURCU AYŞEN ÜRGEN

Geri Dön