Geri Dön

Activity prediction from auto-captured lifelog images

Otomatik yakalanmış hayat günlüğü görüntülerinden faaliyet tahmini

PDF İndir

  1. Tez No: 562845
  2. Yazar: KADER BELLİ
  3. Danışmanlar: DR. ÖĞR. ÜYESİ EMRE AKBAŞ, PROF. DR. ADNAN YAZICI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 76

Özet

Hayat günlüğü analizi, veri bilimcilerinin büyük ölçüde ilgisini çeken bir konu başlığı haline gelmiştir, çünkü hayat günlüğü faaliyetleri sonucunda büyük, çok boyutlu ve çok modlu veriler üretilmektedir. Bu çalışmada, iki kullanıcının günlük yaşamlarının toplamda 90 gün boyunca izlendiği ve konum, vücut ölçümleri, müzik dinleme geçmişi ve kullanıcı faaliyeti gibi ayrıntılardan oluşan dakika bazlı kayıtlar halinde arşivlendiği NTCIR Lifelog veri setini kullanıyoruz. Ayrıca her dakika için, kullanıcıların göğüs hizasına yerleştirilmiş kameralar tarafından otomatik olarak çekilen görüntüler, metin açıklamaları ile birlikte veri setinin çok modlu yapısını destekleyecek şekilde verilmektedir. Bu çalışmada, çeşitli sınıflandırma yöntemlerini metin ve resim verileri ile bunların kombinasyonları üzerinde eğiterek, öğrenme performanslarını değerlendirdik. Metin verileri için, kelimeleri tek boyutlu vektörler halinde düzenledik; SVM ve MLP modellerini bu vektörler üzerinde eğittik. Görüntü verileri için ise, iki farklı evrişimsel sinir ağı (CNN) mimarisini iki farklı şekilde eğittik: sıfırdan eğitme ve ImageNet veri seti üzerinde önceden eğitilmiş mimariye hassas ayar yapma. Son olarak, görüntü ve metin verilerini aynı anda işleyen, iki alt modeli birleştirmek için füzyon yöntemlerini kullanan ve eksik verileri telafi edebilen birleşik bir CNN-MLP modeli önerdik. Ayrıca, 90.000 görüntüyü 16 faaliyet sınıfı ile etiketleyerek NTCIR LifeLog veri setine katkı sağladık.

Özet (Çeviri)

The analysis of lifelogging has generated great interest among data scientists because large-scale, multidimensional and multimodal data are generated as a result of lifelogging activities. In this study, we use the NTCIR Lifelog dataset where daily lives of two users are monitored for a total of 90 days, and archived as a set of minute-based records consisting of details like semantic location, body measurements, listening history, and user activity. In addition, images which are captured automatically by cameras located at users' chests are available for each minute together with text annotations, which promotes the multimodal nature of the dataset. We train and evaluate several classification methods on the text and image data separately, and on their combination as well. Specifically, for text data, we encode the words using a one-hot encoding, and train SVM and MLP models on bag-of-words representations of minutes. For image data, we train two different convolutional neural networks (CNN) in two different ways: training from scratch and fine-tuning an ImageNet pre-trained model. Finally, we propose a multi-loss, combined CNN-MLP model which processes image and text data simultaneously, uses fusion methods to merge the two sub-models, and can handle missing input modalities. We also put effort into a contribution to the NTCIR LifeLog dataset by manually labeling 90,000 images into 16 activity classes.

Benzer Tezler

  1. Tez No

    840637

    Proposal for a forecasting methodology to predict commercial real estate values in Istanbul using social big data

    Sosyal büyük veri kullanımı ile İstanbul'daki ticari gayrimenkul değerlerini tahmin etmek için bir kestirim yöntemi önerisi

    MARAL TAŞCILAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Ekonometriİstanbul Teknik Üniversitesi

    Gayrimenkul Geliştirme Ana Bilim Dalı

    DOÇ. KEREM YAVUZ ARSLANLI

  2. Tez No

    736783

    Evaluating travel mode decisions and transport models in understanding transit equity: The case of greater Toronto and Hamilton area

    Toplu taşımada eşitliği anlamaya yönelik olarak yolculuk türü kararlarının ve ulaşım modellerının değerlendirilmesi: Büyük Toronto alanı ve Hamilton bölgesi vaka çalışması

    ELNAZ YOUSEFZADEH BARRİ

    Doktora

    İngilizce

    İngilizce

    2022

    Şehircilik ve Bölge Planlamaİstanbul Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    DOÇ. DR. EDA BEYAZIT İNCE

    DOÇ. DR. STEVEN FARBER

  3. Tez No

    204278

    Volatilite değerleme ve tahmini için GARCH modellerinin kullanımı

    Use of GARCH models for estimating and forecasting volatility

    İSMET KALE

    Yüksek Lisans

    Türkçe

    Türkçe

    2006

    BankacılıkMarmara Üniversitesi

    Bankacılık Ana Bilim Dalı

    Y.DOÇ.DR. BAHATTİN RÜZGAR

  4. Tez No

    585012

    Human activity prediction using lifelogging data

    Günlük yaşam verilerini kullanarak insan aktivitelerinin tahminlenmesi

    GİZEM SARIARSLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EMRE AKBAŞ

    PROF. DR. ADNAN YAZICI

  5. Tez No

    738848

    Yapay zeka teknikleri ile manyetik rezonans görüntülerinden multipl skleroz hastalığının teşhisi ve gelecekteki aktivitesinin tahmini

    Identification of multipl sclerosis and prediction of future activity from magnetic resonance images by artificial intelligence techniques

    ZÜLEYHA YILMAZ ACAR

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FATİH BAŞÇİFTÇİ

Geri Dön