Doğal dille sorgulanabilir video özetleme sisteminin tasarlanması ve uygulanması
Design and implementation of a natural language queryable video summarization system
- Tez No: 771556
- Danışmanlar: DOÇ. DR. ASIM SİNAN YÜKSEL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, SQL, Sorgulama işlemcisi, Video analizi, Özetleme, Deep learning, Structured query language, Query processor, Video analytics, Summarizing
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Süleyman Demirel Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, videolar üzerinde doğal dil ile sorgulama yapabilecek bir uygulama geliştirilmiştir. Uygulama 3 ana modül olarak tasarlanmıştır. Bu modüller; nesne tespit, video özetleme ve metinden SQL dönüşümüdür. Modüllerin geliştirilmesinde derin öğrenme yöntemleri kullanılmıştır. Nesne tespit modülünde, videonun sorgulanabilmesi için gerekli özelliklerin çıkarımı yapılmıştır. Özellik çıkarımı için YOLOv5 ön eğitimli modeli kullanılmıştır. Video özetleme modülünde, nesne tanıma modülünden gelen sonuçlar ve ek özellikler kullanılarak gerçek zamanlı sorgulanabilir metinsel bir özet çıkarılmıştır. Video özetleme modülü anlam tabanlı olarak geliştirdiğimiz özgün bir yöntemle gerçekleştirilmiştir. Metinden SQL dönüşümünü sağlayan modülde ise LSTM tabanlı SmBoP dönüştürücüsü kullanılmıştır. Gerçekleştirilen uygulamada sorgulama için arabalar hedef nesnelerdir. Uygulamada sorgulama yapılabilmesi için kullanılan koşullar araba rengi, araba markası, araç tipi, tarih, saat ve kamera lokasyonlarıdır. Araç tespiti için renk, marka ve araç tipi modelleri geliştirilmiştir. Renk, marka ve araç tipi modellerinin sırasıyla ortalama kesinlik değerlerinin ortalaması %98,714, %91,742 ve %96,713'tür. Metinden SQL dönüşümü için oluşturulan modelimizin doğruluk oranı %80'dir. Uygulamanın genel başarı oranı ise %70,06 olarak tespit edilmiştir.
Özet (Çeviri)
In this thesis, an application has been developed that can query videos in natural language. The application is designed as 3 main modules. These modules are object detection, video summarization, and text-to-SQL conversion. Deep learning methods were applied in the development of the modules. In the object detection module, the necessary features have been extracted for the video to be queried. The YOLOv5 pre-trained model was used for feature extraction. In the video summarization module, a real-time queryable textual summary is extracted using the results from the object recognition module and additional features. The implementation of the video summarization module was carried out with a semantic based novel method. In the text-to-SQL conversion module, an LSTM-based SmBoP converter was used. Cars are target objects for querying in our application. The features used for querying in the application are color, brand, body type, date, time and camera locations. Color, brand and vehicle body type models have been developed for car detection. Mean average precision of color, brand and vehicle body type models are 98,714%, 91,742% and 96,713%, respectively. The accuracy of our model for text-to-SQL conversion is 80%. The overall accuracy of the application was determined as 70,06%.
Benzer Tezler
- Urban psychology: Evaluatıng the nexus between urban well-beıng and plannıng over the case of kuzguncuk
Kent psikolojisi: kentsel refah ve planlama ilişkisinin kuzguncuk örneği üzerinden değerlendirilmesi
BAN QUSAY SHAREEF ALDARWISH
Yüksek Lisans
İngilizce
2025
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
DOÇ. DR. İMGE AKÇAKAYA WAITE JR
- Zihin engelli çocuklara zıtlık kavramını öğretmede doğal dille uygulanan doğrudan öğretim yönteminin etkililiği
Effects of direct instruction through natural language use on teaching polar concepts to children with mental retardation
İCLAL EKERGİL
Yüksek Lisans
Türkçe
2000
Eğitim ve ÖğretimAnadolu ÜniversitesiÖzel Eğitim Ana Bilim Dalı
DOÇ.DR. GÖNÜL KIRCAALİ İFTAR
- İnternet üzerinde çalışan bir doğal dil uygulaması: Soru cevaplama sistemi
A Natural language processing application running on internet : A question answering system
MEHMET FATİH AMASYALI
Yüksek Lisans
Türkçe
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OYA KALIPSIZ
- Farklı dille öğretimin temel eğitim düzleminde eğitsel doğurgularına ilişkin öğretmen ve veli görüşlerinin değerlendirilmesi Kırgızistan ve Rusça örneği
Evaluating the educational results of teaching with different language on basic education with the connection of teachers and parents' points. the example of Kyrgyzstan and Russian language
HASAN KARACAN
Yüksek Lisans
Türkçe
2007
DilbilimDicle ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF.DR. HASAN AKGÜNDÜZ
- Doğal mirasa ait oluşumların resimsel yüzey üzerinde yorumlamaları: Peribacaları örneği
Interpretations of formations belonging to the natural heritage on the pictorial surface: The example of Peribacaları
MUSTAFA AĞGÜNER
Yüksek Lisans
Türkçe
2021
Güzel Sanatlarİnönü ÜniversitesiResim Ana Sanat Dalı
PROF. DR. YÜKSEL GÖĞEBAKAN