Unsupervised active learning for video annotation
Video etiketleme için denetimsiz aktif öğrenme
- Tez No: 392928
- Danışmanlar: PROF. DR. ZEHRA ÇATALTEPE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 132
Özet
Aktif Ögrenme, yarı-gözetimli makine ögrenmesi yöntemlerinden birisidir. Özellikle, fazla sayıda etiketlenmemis ̧ verinin veya çok az sayıda etiketlenmis ̧ verinin oldugu durumlarda kullanılır. Böyle verileri etiketlemek oldukça maliyetlidir. Günümüzde, video kayıt teknolojilerinin analog sistemlerden sayısal sistemlere geçmis ̧tir ve video kayıt cihazları çes ̧itli profildeki kullanıcılar tarafından yaygın olarak kullanılmaktadır. Büyük veya ag ̆ yapısındaki bir video verisinin etiketlenmesi ve sınıflandırılması konusu da aktif ögrenmenin ilgi alanları arasındadır. Videoların etiketlenmesi büyük bir video verisini dizinlemek ve bu veriler arasında arama yapmak için kullanılmaktadır. Elle etiketleme ve otomatik etiketleme olmak üzere ̇Iki ana video etiketleme teknig ̆i bulunmaktadır.Elle etiketleme teknig ̆inde, videolar insanlar tarafından izlenir ve tek tek etiketlenir. Öte yanda, otomatik etiketleme teknig ̆ inde bilgisayımsal yöntemlerle videolar etiketlendirilir. Böylesine muazzam sayıdaki videoların insanlarca elle etiketlenmesi hem is ̧ gücü hem de zaman açısından oldukça maliyetlidir. Bu tez, 3M veriler için etiketleme yapısı sunan bir çerçeve tasarlamayı amaçlayan CAMOMILE projesinin bir alt projesidir. 3M'deki M harfi ̇Ingilizce'deki multimodal (çok tipli), multimedia (çok ortamlı) ve multilingual (çok dilli) kelimelerinden gelmektedir. Çalıs ̧mamızda, kümeleme tabanlı gözetimsiz aktif ög ̆renme yaklas ̧ımıyla, videolardaki insanların kimliklerini belirlemek amacıyla olus ̧turulmus ̧ REPERE video veritabanı üzerinde çalıs ̧acak bir seçim yöntemi öneriyoruz.
Özet (Çeviri)
When annotating complex multimedia data like videos, a human expert usually annotates them manually. Even tough manual annotation achieves accurate results, it is a labor-intensive and time-consuming process. On the other hand, computational methods can annotate mass video data for indexing and searching with any or almost no help from human experts effortlessly and faster but they are probably more error prone solutions. The tradeoff between the costs in terms of labor, time and accuracy reveals Active Learning as a natural outcome. Active learning is one of the semi-supervised machine learning methods that benefits from the strongest properties of both manual and computational methods. In an active learning cycle, a learner algorithm discovers the underlying patterns in data and queries the human experts interactively for some informative decision points. It is used when labeled instances are insufficient and acquiring new labels is expensive or especially when unlabeled instances are abundant. In this study, we introduce an unsupervised active learning cycle structure in a flow, which includes clustering, stable matching between the created clusters, various unsupervised selection strategies for selecting the most uncertain and the most certain instances and querying the human annotators. We propose two new cluster selection methods, namely Most Disagreement Selection (MDS) and Hybrid Set Selection (HS), which is a hybrid of MDS and Big Cluster First [2] methods. For MDS and HS, we adopt the“Stable Marriage Problem”solution, in which a stable marriage problem is transformed into a cluster matching problem. We work on REPERE [1] video dataset, which is created for the problem of person identification in videos. Our study aims to identify who is speaking and who is on screen by using multi-modal data. We have evaluated the performance of selection strategies over active learning cycles using multimodality on 28 videos from 7 different TV programs. Each video has three different similarity matrices namely face-to-face, speech-to-speech and face-to-speech. We have run four experiments with regard to matrices in this order: face score for face track annotation, face score for speaker track annotation, speaker score for speaker track annotation and speaker score for speaker annotation.
Benzer Tezler
- Görüntü işlemede derin öğrenme tabanlı süper çözünürlük uygulamaları
Deep learning based super resolution applications in image processing
AHENK VURAL
Yüksek Lisans
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Koyunlarda korku davranışlarının belirlenmesinde ve sınıflandırılmasında farklı makine öğrenimi algoritmalarının kullanımı
The use of different machine learning algorithms in the determination and classification of fear test behaviors in sheep
CAFER TAYYAR BATİ
Doktora
Türkçe
2022
BiyoistatistikVan Yüzüncü Yıl ÜniversitesiZootekni Ana Bilim Dalı
DOÇ. DR. GAZEL SER
- Using co-training to empower active learning
Aktif öğrenmeyi güçlendirmek için eş-öğrenme kullanılması
PAYAM VAKILZADEH AZAD
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. YUSUF YASLAN
- Dönüştürücü dil modellerine etkili hassas ayar yapmak için veri mühendisliği yöntemleri
Data engineering methods for effective fine tuning transformers language models
MUHAMMED SAİD ZENGİN
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MÜCAHİD KUTLU
- Echo state network ile sistemlerin modellenmesi
System modeling using echo state network
SELİN YAMAN
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ENGİN YEŞİL