Fusing semantic information extracted from visual, auditory and textual data of videos
Videolarda görüntü, ses ve metin verilerinden çıkarılan anlamsal bilgilerin birleştirilmesi
- Tez No: 318813
- Danışmanlar: PROF. DR. ADNAN YAZICI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 84
Özet
Son yıllarda, video kullanımının hızla artması ile birlikte, videolardaki anlamsal içeriklerin manüel olarak çıkarılması kullanıcılara yeterli gelmemekte ve dolayısıyla videolardan otomatik anlamsal bilgi çıkarımı zorunlu hale gelmektedir. Günümüzde görüntü, ses ve metin gibi video verilerinden ayrı ayrı bilgi çıkarımı yapan sistemler mevcuttur; ancak birden fazla veri kaynağını kullanan çalışmalar sınırlı sayıdadır. Bu konuda yapılan bazı araştırmaların da gösterdiği üzere, videolarda birden fazla kaynağın otomatik bilgi çıkarımında kullanılması, elde edilen anlamsal bilgilerin doğruluk payını arttırıp daha iyi sonuçlar elde edilmesini sağlayacaktır. Bu tezde, videolardaki görüntü, ses ve metin verilerinden çıkarılmış anlamsal bilgileri füzyon eden bir sistem sunulmaktadır. Bilgi füzyonu sistemi farklı kaynaklardan çıkarılan anlamsal bilgilerin analiz edilmesi, bu bilgilerin konsept ilişkilerinden de faydalanılarak bütünleştirilmesi ve böylece veritabanına kaydetmeye hazır hale getirilmiş bir anlamsal veri seti oluşturulması işlemlerini gerçekleştirmektedir. Bunun yanısıra, tek kaynaktan anlamsal bilgi çıkarımı sonucu elde edilen verileri ve geleneksel bilgi füzyonu yaklaşım sonuçlarını, bilgi füzyonunun gerçekleştirilmesi sonucu oluşan verilerle karşılaştıran deneyler yapılmıştır. Deney sonuçlarının gösterdiği üzere, mevcut olan tüm bilgi kaynaklarının konsept ilişkilerini de kullanarak birleştirilmesi, genel olarak tüm tek kaynaklı yaklaşımlardan ve diğer geleneksel füzyon yöntemlerinden daha iyi sonuçların elde edilmesini sağlamaktadır.
Özet (Çeviri)
In recent years, due to the increasing usage of videos, manual information extraction is becoming insufficient to users. Therefore, extracting semantic information automatically turns out to be a serious requirement. Today, there exists some systems that extract semantic information automatically by using visual, auditory and textual data separately but the number of studies that uses more than one data source is very limited. As some studies on this topic have already shown, using multimodal video data for automatic information extraction ensures getting better results by guaranteeing increase in the accuracy of semantic information that is retrieved from visual, auditory and textual sources. In this thesis, a complete system which fuses the semantic information that is obtained from visual, auditory and textual video data is introduced. The fusion system carries out the following procedures; analyzing and uniting the semantic information that is extracted from multimodal data by utilizing concept interactions and consequently generating a semantic dataset which is ready to be stored in a database. Besides, experiments are conducted to compare results obtained from the proposed multimodal fusion operation with results obtained as an outcome of semantic information extraction from just one modality and other fusion methods. The results indicate that fusing all available information along with concept relations yields better results than any unimodal approaches and other traditional fusion methods in overall.
Benzer Tezler
- Kıpçak grubu Türk lehçelerinde çekim eklerinin kalıplaşması
Stereotyping of inflection suffix in Kipchak group Turkish dialects
FECRİ YAVİ
Doktora
Türkçe
2023
DilbilimFırat ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. AHAT ÜSTÜNER
- Mobil cihazlar ile derin öğrenme mimarisi kullanarak gerçek zamanlı video nesne izleme
Deep learning architectures for real-time video object tracking by mobile devices
ULAŞ TOSUN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Fusing network traffic features with host traffic features for an improved network intrusion detection system
Geliştirilmiş bir ağ girişim tespit sistemi için ağ trafik özelliklerinin ana bilgisayar trafik özellikleriyle birleştirilmesi
ESTABRAQ SALEEM ABDULJABBAR ALARS
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEFER KURNAZ
- Fusing length and voicing information and HMM decision in speaker dependent isolated word recognition systems
Konuşmacıya bağlı ayrık sözcük tanıma sistemlerinde uzunluk ve ses bilgilerini ve HMM kararının birleştirilmesi
FAHRİ KARAHAN
Yüksek Lisans
İngilizce
2000
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MÜBECCEL DEMİREKLER
- Fusing local appearance models for face recognition
Yüz tanıma için yerel görünüm modellerinin tümleştirilmesi
NURİ MURAT ARAR
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. LALE AKARUN
YRD. DOÇ. HAZIM KEMAL EKENEL