Fusing semantic information extracted from visual, auditory and textual data of videos
Videolarda görüntü, ses ve metin verilerinden çıkarılan anlamsal bilgilerin birleştirilmesi
- Tez No: 318813
- Danışmanlar: PROF. DR. ADNAN YAZICI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 84
Özet
Son yıllarda, video kullanımının hızla artması ile birlikte, videolardaki anlamsal içeriklerin manüel olarak çıkarılması kullanıcılara yeterli gelmemekte ve dolayısıyla videolardan otomatik anlamsal bilgi çıkarımı zorunlu hale gelmektedir. Günümüzde görüntü, ses ve metin gibi video verilerinden ayrı ayrı bilgi çıkarımı yapan sistemler mevcuttur; ancak birden fazla veri kaynağını kullanan çalışmalar sınırlı sayıdadır. Bu konuda yapılan bazı araştırmaların da gösterdiği üzere, videolarda birden fazla kaynağın otomatik bilgi çıkarımında kullanılması, elde edilen anlamsal bilgilerin doğruluk payını arttırıp daha iyi sonuçlar elde edilmesini sağlayacaktır. Bu tezde, videolardaki görüntü, ses ve metin verilerinden çıkarılmış anlamsal bilgileri füzyon eden bir sistem sunulmaktadır. Bilgi füzyonu sistemi farklı kaynaklardan çıkarılan anlamsal bilgilerin analiz edilmesi, bu bilgilerin konsept ilişkilerinden de faydalanılarak bütünleştirilmesi ve böylece veritabanına kaydetmeye hazır hale getirilmiş bir anlamsal veri seti oluşturulması işlemlerini gerçekleştirmektedir. Bunun yanısıra, tek kaynaktan anlamsal bilgi çıkarımı sonucu elde edilen verileri ve geleneksel bilgi füzyonu yaklaşım sonuçlarını, bilgi füzyonunun gerçekleştirilmesi sonucu oluşan verilerle karşılaştıran deneyler yapılmıştır. Deney sonuçlarının gösterdiği üzere, mevcut olan tüm bilgi kaynaklarının konsept ilişkilerini de kullanarak birleştirilmesi, genel olarak tüm tek kaynaklı yaklaşımlardan ve diğer geleneksel füzyon yöntemlerinden daha iyi sonuçların elde edilmesini sağlamaktadır.
Özet (Çeviri)
In recent years, due to the increasing usage of videos, manual information extraction is becoming insufficient to users. Therefore, extracting semantic information automatically turns out to be a serious requirement. Today, there exists some systems that extract semantic information automatically by using visual, auditory and textual data separately but the number of studies that uses more than one data source is very limited. As some studies on this topic have already shown, using multimodal video data for automatic information extraction ensures getting better results by guaranteeing increase in the accuracy of semantic information that is retrieved from visual, auditory and textual sources. In this thesis, a complete system which fuses the semantic information that is obtained from visual, auditory and textual video data is introduced. The fusion system carries out the following procedures; analyzing and uniting the semantic information that is extracted from multimodal data by utilizing concept interactions and consequently generating a semantic dataset which is ready to be stored in a database. Besides, experiments are conducted to compare results obtained from the proposed multimodal fusion operation with results obtained as an outcome of semantic information extraction from just one modality and other fusion methods. The results indicate that fusing all available information along with concept relations yields better results than any unimodal approaches and other traditional fusion methods in overall.
Benzer Tezler
- Kıpçak grubu Türk lehçelerinde çekim eklerinin kalıplaşması
Stereotyping of inflection suffix in Kipchak group Turkish dialects
FECRİ YAVİ
Doktora
Türkçe
2023
DilbilimFırat ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. AHAT ÜSTÜNER
- Mobil cihazlar ile derin öğrenme mimarisi kullanarak gerçek zamanlı video nesne izleme
Deep learning architectures for real-time video object tracking by mobile devices
ULAŞ TOSUN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Kameraların sınırlı alan derinliğini artırmak için metasezgisel algoritmalar kullanılarak çok odaklı görüntülerin birleştirilmesi
Fusing multi-focus images using metaheuristic algorithms to increase the limited depth of field of cameras
FATMA ÇAKIROĞLU
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiKayseri ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ DURMUŞ
DR. ÖĞR. ÜYESİ RİFAT KURBAN
- Fusing acoustic and linguistic parameters for multilingual emotion recognition
Akustik ve dilbilimsel parametrelerle çok dilli duygu tanıma
MUSTAFA ERDEN
Yüksek Lisans
İngilizce
2011
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. LEVENT ARSLAN
- Fusing the RGB image and LiDAR data for road detection
Yol tespiti için RGB kamera ve LiDAR füzyonu
ARDA TAHA CANDAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HABİL KALKAN