Geri Dön

Doğal dille sorgulanabilir video özetleme sisteminin tasarlanması ve uygulanması

Design and implementation of a natural language queryable video summarization system

  1. Tez No: 771556
  2. Yazar: MUHAMMED ABDULHAMİD KARABIYIK
  3. Danışmanlar: DOÇ. DR. ASIM SİNAN YÜKSEL
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: Süleyman Demirel Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 93

Özet

Bu tez çalışmasında, videolar üzerinde doğal dil ile sorgulama yapabilecek bir uygulama geliştirilmiştir. Uygulama 3 ana modül olarak tasarlanmıştır. Bu modüller; nesne tespit, video özetleme ve metinden SQL dönüşümüdür. Modüllerin geliştirilmesinde derin öğrenme yöntemleri kullanılmıştır. Nesne tespit modülünde, videonun sorgulanabilmesi için gerekli özelliklerin çıkarımı yapılmıştır. Özellik çıkarımı için YOLOv5 ön eğitimli modeli kullanılmıştır. Video özetleme modülünde, nesne tanıma modülünden gelen sonuçlar ve ek özellikler kullanılarak gerçek zamanlı sorgulanabilir metinsel bir özet çıkarılmıştır. Video özetleme modülü anlam tabanlı olarak geliştirdiğimiz özgün bir yöntemle gerçekleştirilmiştir. Metinden SQL dönüşümünü sağlayan modülde ise LSTM tabanlı SmBoP dönüştürücüsü kullanılmıştır. Gerçekleştirilen uygulamada sorgulama için arabalar hedef nesnelerdir. Uygulamada sorgulama yapılabilmesi için kullanılan koşullar araba rengi, araba markası, araç tipi, tarih, saat ve kamera lokasyonlarıdır. Araç tespiti için renk, marka ve araç tipi modelleri geliştirilmiştir. Renk, marka ve araç tipi modellerinin sırasıyla ortalama kesinlik değerlerinin ortalaması %98,714, %91,742 ve %96,713'tür. Metinden SQL dönüşümü için oluşturulan modelimizin doğruluk oranı %80'dir. Uygulamanın genel başarı oranı ise %70,06 olarak tespit edilmiştir.

Özet (Çeviri)

In this thesis, an application has been developed that can query videos in natural language. The application is designed as 3 main modules. These modules are object detection, video summarization, and text-to-SQL conversion. Deep learning methods were applied in the development of the modules. In the object detection module, the necessary features have been extracted for the video to be queried. The YOLOv5 pre-trained model was used for feature extraction. In the video summarization module, a real-time queryable textual summary is extracted using the results from the object recognition module and additional features. The implementation of the video summarization module was carried out with a semantic based novel method. In the text-to-SQL conversion module, an LSTM-based SmBoP converter was used. Cars are target objects for querying in our application. The features used for querying in the application are color, brand, body type, date, time and camera locations. Color, brand and vehicle body type models have been developed for car detection. Mean average precision of color, brand and vehicle body type models are 98,714%, 91,742% and 96,713%, respectively. The accuracy of our model for text-to-SQL conversion is 80%. The overall accuracy of the application was determined as 70,06%.

Benzer Tezler

  1. Zihin engelli çocuklara zıtlık kavramını öğretmede doğal dille uygulanan doğrudan öğretim yönteminin etkililiği

    Effects of direct instruction through natural language use on teaching polar concepts to children with mental retardation

    İCLAL EKERGİL

    Yüksek Lisans

    Türkçe

    Türkçe

    2000

    Eğitim ve ÖğretimAnadolu Üniversitesi

    Özel Eğitim Ana Bilim Dalı

    DOÇ.DR. GÖNÜL KIRCAALİ İFTAR

  2. İnternet üzerinde çalışan bir doğal dil uygulaması: Soru cevaplama sistemi

    A Natural language processing application running on internet : A question answering system

    MEHMET FATİH AMASYALI

    Yüksek Lisans

    Türkçe

    Türkçe

    2003

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. OYA KALIPSIZ

  3. Localizing knowledge in large language model representations

    Büyük dil modeli aktivasyonlarında bilginin yerinin tespit edilmesi

    BATUHAN ÖZYURT

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. DENİZ YURET

  4. HPSG teorisinin ve semantik frame teorisinin bir uygulaması olarak, sahne betimleyen doğal dil cümlelerinden görsel yapılar inşa edilmesi

    An application of hpsg and semantic frame theories, it is intended to build visual structures from the natural language sentences that depict scenes

    ERSİN AKSOY

    Yüksek Lisans

    Türkçe

    Türkçe

    2008

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTrakya Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    YRD. DOÇ. DR. YILMAZ KILIÇASLAN

  5. Ontoloji tabanlı bir anlamsal ilintililik yöntemi geliştirilmesi ve yöntemin metin bağdaşıklığının otomatik olarak ölçümünde kullanılması

    Development of an ontology-based semantic relatedness measurement method and its application to automatic measurement of text coherence

    GÖRKEM GİRAY

    Doktora

    Türkçe

    Türkçe

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MURAT OSMAN ÜNALIR