Videoların kurgusu ve özetlenmesi için derin öğrenme ile hareket analizi
Motion analysis with deep learning for editing and summarizing videos
- Tez No: 720836
- Danışmanlar: DR. ÖĞR. ÜYESİ AYŞE DEMİRHAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
Sosyal medya platformlarında düzenlenmiş video paylaşımlarının ve içerik tüketimlerinin hızla artması ile video düzenleme üzerinde yoğun olarak çalışılan aktif bir konu haline gelmiştir. Bu tez çalışmasında videoların özetlenebilmesi için videodaki kişilerin hareketlerinin poz tahmini algoritmalarının çıktılarını kullanan bir takip yöntemi geliştirilerek anlamlandırılması ve en önemli sahnelerin parçalanarak bir arka plan müziğine göre birleştirilmesi amaçlanmıştır. Literatürdeki çeşitli poz tahmini algoritmalarının geliştirilen poz takibi yöntemine etkisi ile farklı ön işleme adımlarının poz takibi başarımına katkıları PoseTrack veri kümesi kullanılarak incelenmiştir. Kişi takibinin sonucunda elde edilen zamana bağlı eklem noktası dizilerini kullanarak derin öğrenme yöntemleri ile hareketleri tanıma işlemi gerçekleştirilmiştir. Ayrıca video içeriğindeki muhtemel başrol oyuncuları tespit edilerek karakterlerin davranışlarına ve belirlenen kurguya göre en değerli sahnelerin belirlenmesi için analizler yapılmıştır. Tüm bu çalışmaların yapılabilmesi için insansız hava aracı ile kaydedilen 396 037 görüntüden oluşan yeni bir video veri kümesi meydana getirilmiştir. Veri kümesi ile ilgili detaylara posedrone.com sayfasından erişilebilir. Oluşturulan veri kümesi üzerinde 7 hareket sınıfı için 33 083 adet kişinin eklem noktalarının etiketlenmesi yapılmıştır. Görüntülerin ham hali ve OpenPose kullanılarak etiketlenen doğru veriler posedrone.com sayfasında yayınlanmıştır. Poz tahmini yöntemleri için geliştirilen ön işleme adımları; PoseTrack veri kümesi üzerinde MOTA değerinde DCPose için %21.2, OpenPose için %22.6 iyileştirme sağlamıştır. Hareket tanıma için tasarlanan modele veri kalitesini artırmak için uygulanan işlemlerinin de olumlu katkı sağladığı gösterilmiştir. Video özetleme için poz tahmini, poz takibi, hareket tanıma ve en değerli sahne algoritmalarının birbirinden bağımsız olarak güncellenebildiği bir alt yapı meydana getirilmiştir. Müzik sinyalindeki vuruşların zamanları tespit edilerek sahneler arası geçiş yapan yeni bir video özetleme yöntemi geliştirilmiştir. Literatürde bir ilk olan hem hareket tanıma hem de video özetleme alanında birlikte kullanılabilecek insansız hava aracı ile kaydedilen veri kümesi yayınlanmıştır.
Özet (Çeviri)
Video editing has become an active topic that is being studied intensively with the rapid increase in video shares and content consumption organized on social media platforms. In this thesis study, in order to convert the videos into clips, it is aimed to make sense of the actions of the people in the video by developing a tracking method using the outputs of pose estimation algorithms and to combine the most important scenes. The effects of various pose estimation algorithms in the literature on the developed pose tracking method and the contribution of different preprocessing steps to the pose tracking performance were examined using the PoseTrack dataset. Recognition of actions was carried out using deep learning methods and using time dependent keypoint sequences obtained as a result of pose tracking. In addition, possible lead actors in the video content were identified and analyzes were made to determine the most valuable scenes according to the behaviors of the characters and the determined fiction. In order to carry out all these studies, a new video dataset consisting of 396 037 images recorded with by unmanned aerial vehicle has been created. Details about the dataset are available at posedrone.com. On the created dataset, the joint points of 33 083 people were labeled for 7 action classes. The preprocessing steps developed for pose estimation methods provided an improvement of 21.2% for DCPose and 22.6% for OpenPose in the value of MOTA on the PoseTrack dataset. It has been shown that the processes applied to increase the data quality of the model designed for action recognition also make a positive contribution. For video summarization, an infrastructure has been created in which pose estimation, pose tracking, action recognition and most valuable scene algorithms can be updated independently of each other. A new video summarization method has been developed that switches between scenes by deciphering the times of beats in the music signal. A set of data recorded by an unmanned aerial vehicle that can be used together in the field of both action recognition and video summarization, which is the first in the literature, has been published.
Benzer Tezler
- Uzaktan eğitimde oyunlaştırılmış öğrenme ortamının tasarlanması ve geliştirilmesi
Design and development of gamified online learning environment in distance education
ÖMER KIRMACI
Doktora
Türkçe
2022
Eğitim ve ÖğretimGazi ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
PROF. DR. EBRU KILIÇ ÇAKMAK
- Mühendislik disiplini bağlamında interdisipliner koreografi üretimi
The creation of interdisciplinary choreography in the context of engineering discipline
MUSTAFA KAPLAN
Yüksek Lisans
Türkçe
2023
Sahne ve Görüntü SanatlarıMimar Sinan Güzel Sanatlar ÜniversitesiSahne Sanatları Ana Sanat Dalı
PROF. TUĞÇE ULUGÜN TUNA
- Sanat ve edebiyatta zaman-mekan ilişkisinin sanat eğitimi öğretim programı kazanımlarına yansımaları
Reflections of time-space relationship in art and literature on the achievements of art education and training program
NERİMAN TANHAN
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimDokuz Eylül ÜniversitesiGüzel Sanatlar Eğitimi Ana Bilim Dalı
PROF. DR. TUBA GÜLTEKİN
- Sosyal medyada benliğin sunumu ve mahremiyet tartışmaları bağlamında çocuk YouTuberlar üzerine bir analiz
An analysis on child YouTubers in the context of self presentation and privacy discussions in social media
ELİF ÖZEK
Yüksek Lisans
Türkçe
2024
Halkla İlişkilerAnkara Hacı Bayram Veli ÜniversitesiHalkla İlişkiler ve Tanıtım Ana Bilim Dalı
DOÇ. DR. EDA TURANCI
- Su altı kültür mirasının korunması ve sunumuÇanakkale savaş alanları Tekke Koyu örneği
Conservation and presentation of underwater cultural heritage Çanakkale battlefields example of Tekke Bay
ERKİN YAŞAR ÇERİK
Yüksek Lisans
Türkçe
2022
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. YEGAN KAHYA SAYAR