Geri Dön

Fusing semantic information extracted from visual, auditory and textual data of videos

Videolarda görüntü, ses ve metin verilerinden çıkarılan anlamsal bilgilerin birleştirilmesi

  1. Tez No: 318813
  2. Yazar: ELVAN GÜLEN
  3. Danışmanlar: PROF. DR. ADNAN YAZICI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2012
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 84

Özet

Son yıllarda, video kullanımının hızla artması ile birlikte, videolardaki anlamsal içeriklerin manüel olarak çıkarılması kullanıcılara yeterli gelmemekte ve dolayısıyla videolardan otomatik anlamsal bilgi çıkarımı zorunlu hale gelmektedir. Günümüzde görüntü, ses ve metin gibi video verilerinden ayrı ayrı bilgi çıkarımı yapan sistemler mevcuttur; ancak birden fazla veri kaynağını kullanan çalışmalar sınırlı sayıdadır. Bu konuda yapılan bazı araştırmaların da gösterdiği üzere, videolarda birden fazla kaynağın otomatik bilgi çıkarımında kullanılması, elde edilen anlamsal bilgilerin doğruluk payını arttırıp daha iyi sonuçlar elde edilmesini sağlayacaktır. Bu tezde, videolardaki görüntü, ses ve metin verilerinden çıkarılmış anlamsal bilgileri füzyon eden bir sistem sunulmaktadır. Bilgi füzyonu sistemi farklı kaynaklardan çıkarılan anlamsal bilgilerin analiz edilmesi, bu bilgilerin konsept ilişkilerinden de faydalanılarak bütünleştirilmesi ve böylece veritabanına kaydetmeye hazır hale getirilmiş bir anlamsal veri seti oluşturulması işlemlerini gerçekleştirmektedir. Bunun yanısıra, tek kaynaktan anlamsal bilgi çıkarımı sonucu elde edilen verileri ve geleneksel bilgi füzyonu yaklaşım sonuçlarını, bilgi füzyonunun gerçekleştirilmesi sonucu oluşan verilerle karşılaştıran deneyler yapılmıştır. Deney sonuçlarının gösterdiği üzere, mevcut olan tüm bilgi kaynaklarının konsept ilişkilerini de kullanarak birleştirilmesi, genel olarak tüm tek kaynaklı yaklaşımlardan ve diğer geleneksel füzyon yöntemlerinden daha iyi sonuçların elde edilmesini sağlamaktadır.

Özet (Çeviri)

In recent years, due to the increasing usage of videos, manual information extraction is becoming insufficient to users. Therefore, extracting semantic information automatically turns out to be a serious requirement. Today, there exists some systems that extract semantic information automatically by using visual, auditory and textual data separately but the number of studies that uses more than one data source is very limited. As some studies on this topic have already shown, using multimodal video data for automatic information extraction ensures getting better results by guaranteeing increase in the accuracy of semantic information that is retrieved from visual, auditory and textual sources. In this thesis, a complete system which fuses the semantic information that is obtained from visual, auditory and textual video data is introduced. The fusion system carries out the following procedures; analyzing and uniting the semantic information that is extracted from multimodal data by utilizing concept interactions and consequently generating a semantic dataset which is ready to be stored in a database. Besides, experiments are conducted to compare results obtained from the proposed multimodal fusion operation with results obtained as an outcome of semantic information extraction from just one modality and other fusion methods. The results indicate that fusing all available information along with concept relations yields better results than any unimodal approaches and other traditional fusion methods in overall.

Benzer Tezler

  1. Kıpçak grubu Türk lehçelerinde çekim eklerinin kalıplaşması

    Stereotyping of inflection suffix in Kipchak group Turkish dialects

    FECRİ YAVİ

    Doktora

    Türkçe

    Türkçe

    2023

    DilbilimFırat Üniversitesi

    Türk Dili ve Edebiyatı Ana Bilim Dalı

    PROF. DR. AHAT ÜSTÜNER

  2. Mobil cihazlar ile derin öğrenme mimarisi kullanarak gerçek zamanlı video nesne izleme

    Deep learning architectures for real-time video object tracking by mobile devices

    ULAŞ TOSUN

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. BİLGE GÜNSEL KALYONCU

  3. Kameraların sınırlı alan derinliğini artırmak için metasezgisel algoritmalar kullanılarak çok odaklı görüntülerin birleştirilmesi

    Fusing multi-focus images using metaheuristic algorithms to increase the limited depth of field of cameras

    FATMA ÇAKIROĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Elektrik ve Elektronik MühendisliğiKayseri Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALİ DURMUŞ

    DR. ÖĞR. ÜYESİ RİFAT KURBAN

  4. Fusing acoustic and linguistic parameters for multilingual emotion recognition

    Akustik ve dilbilimsel parametrelerle çok dilli duygu tanıma

    MUSTAFA ERDEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2011

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. LEVENT ARSLAN

  5. Fusing the RGB image and LiDAR data for road detection

    Yol tespiti için RGB kamera ve LiDAR füzyonu

    ARDA TAHA CANDAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HABİL KALKAN