Doğal dille sorgulanabilir video özetleme sisteminin tasarlanması ve uygulanması
Design and implementation of a natural language queryable video summarization system
- Tez No: 771556
- Danışmanlar: DOÇ. DR. ASIM SİNAN YÜKSEL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Süleyman Demirel Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 93
Özet
Bu tez çalışmasında, videolar üzerinde doğal dil ile sorgulama yapabilecek bir uygulama geliştirilmiştir. Uygulama 3 ana modül olarak tasarlanmıştır. Bu modüller; nesne tespit, video özetleme ve metinden SQL dönüşümüdür. Modüllerin geliştirilmesinde derin öğrenme yöntemleri kullanılmıştır. Nesne tespit modülünde, videonun sorgulanabilmesi için gerekli özelliklerin çıkarımı yapılmıştır. Özellik çıkarımı için YOLOv5 ön eğitimli modeli kullanılmıştır. Video özetleme modülünde, nesne tanıma modülünden gelen sonuçlar ve ek özellikler kullanılarak gerçek zamanlı sorgulanabilir metinsel bir özet çıkarılmıştır. Video özetleme modülü anlam tabanlı olarak geliştirdiğimiz özgün bir yöntemle gerçekleştirilmiştir. Metinden SQL dönüşümünü sağlayan modülde ise LSTM tabanlı SmBoP dönüştürücüsü kullanılmıştır. Gerçekleştirilen uygulamada sorgulama için arabalar hedef nesnelerdir. Uygulamada sorgulama yapılabilmesi için kullanılan koşullar araba rengi, araba markası, araç tipi, tarih, saat ve kamera lokasyonlarıdır. Araç tespiti için renk, marka ve araç tipi modelleri geliştirilmiştir. Renk, marka ve araç tipi modellerinin sırasıyla ortalama kesinlik değerlerinin ortalaması %98,714, %91,742 ve %96,713'tür. Metinden SQL dönüşümü için oluşturulan modelimizin doğruluk oranı %80'dir. Uygulamanın genel başarı oranı ise %70,06 olarak tespit edilmiştir.
Özet (Çeviri)
In this thesis, an application has been developed that can query videos in natural language. The application is designed as 3 main modules. These modules are object detection, video summarization, and text-to-SQL conversion. Deep learning methods were applied in the development of the modules. In the object detection module, the necessary features have been extracted for the video to be queried. The YOLOv5 pre-trained model was used for feature extraction. In the video summarization module, a real-time queryable textual summary is extracted using the results from the object recognition module and additional features. The implementation of the video summarization module was carried out with a semantic based novel method. In the text-to-SQL conversion module, an LSTM-based SmBoP converter was used. Cars are target objects for querying in our application. The features used for querying in the application are color, brand, body type, date, time and camera locations. Color, brand and vehicle body type models have been developed for car detection. Mean average precision of color, brand and vehicle body type models are 98,714%, 91,742% and 96,713%, respectively. The accuracy of our model for text-to-SQL conversion is 80%. The overall accuracy of the application was determined as 70,06%.
Benzer Tezler
- Zihin engelli çocuklara zıtlık kavramını öğretmede doğal dille uygulanan doğrudan öğretim yönteminin etkililiği
Effects of direct instruction through natural language use on teaching polar concepts to children with mental retardation
İCLAL EKERGİL
Yüksek Lisans
Türkçe
2000
Eğitim ve ÖğretimAnadolu ÜniversitesiÖzel Eğitim Ana Bilim Dalı
DOÇ.DR. GÖNÜL KIRCAALİ İFTAR
- İnternet üzerinde çalışan bir doğal dil uygulaması: Soru cevaplama sistemi
A Natural language processing application running on internet : A question answering system
MEHMET FATİH AMASYALI
Yüksek Lisans
Türkçe
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OYA KALIPSIZ
- Localizing knowledge in large language model representations
Büyük dil modeli aktivasyonlarında bilginin yerinin tespit edilmesi
BATUHAN ÖZYURT
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. DENİZ YURET
- HPSG teorisinin ve semantik frame teorisinin bir uygulaması olarak, sahne betimleyen doğal dil cümlelerinden görsel yapılar inşa edilmesi
An application of hpsg and semantic frame theories, it is intended to build visual structures from the natural language sentences that depict scenes
ERSİN AKSOY
Yüksek Lisans
Türkçe
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTrakya ÜniversitesiBilgisayar Mühendisliği Bölümü
YRD. DOÇ. DR. YILMAZ KILIÇASLAN
- Ontoloji tabanlı bir anlamsal ilintililik yöntemi geliştirilmesi ve yöntemin metin bağdaşıklığının otomatik olarak ölçümünde kullanılması
Development of an ontology-based semantic relatedness measurement method and its application to automatic measurement of text coherence
GÖRKEM GİRAY
Doktora
Türkçe
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MURAT OSMAN ÜNALIR