Sketch recognition with self-supervised deep learning
Öz denetimli derin öğrenme ile çizim tanıma
- Tez No: 843659
- Danışmanlar: DOÇ. DR. MUSTAFA SERT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 88
Özet
El ile yapılan çizimler, insanların düşüncelerini kaydedebilmesi ve aktarabilmesi noktalarında önemli rol oynar. Ancak, insanların algılama farklılıkları, farklı tecrübeye sahip olmaları, çizim yaptıkları araç ve bunun gibi birçok faktör nedeni ile en basit obje çizimleri dahi aynı olmaz. Literatürde, yapay zeka ile çizim tanıma alanında yapılan bir çok çalışma bulunmaktadır. Derin öğrenme modellerinin gelişmesi ile bu alanlarda yer alan çalışmalar farklılaşmış, büyük veri setleri oluşturulmuş ve geliştirilmiştir. Bu tez kapsamında, çizim tanıma alanında Quick, Draw! veri setini kullanan, Öz-Denetimli yapıya sahip, Evrişimli Sinir Ağları (CNN) ve Metinsel Evrişimli Ağları (TCN) birleşim ile kullanan, en güncel ve en başarılı metot incelenmiştir. Söz konusu Öz-Denetimli çizim tanıma performansını artırmak için ilave özelliklerin veriye eklenmesi ve farklı birleşim metotlarının kullanılmasına yönelik çalışmalar yapılmıştır. Tüm çalışma esnasında, etiketlenmiş örneklerin elde edilmesi zorluğuna karşı kullanmak ve eğitim süreçlerini hızlandırmak için tasarlanmış ön görevlerden (pretext) yararlanılmıştır. Tezde sırası ile; (1) çizimlerinin gerçekleştirilmesi ile ortaya çıkan resim ve vuruş verilerine, tanıma performansını arttırmak için“noktalar arası mesafe”ile“noktalar arası açı”özelliklerinin ilave edilmesi; (2) gürültünün azaltılmasına yönelik olarak çizimlerin Bézier eğrileri ile ifade edilmesi, ve (3) var olan doğrusal ağırlıklı birleşim yerine dışbükey ve içbükey fonksiyonlar ile ağırlıklandırma önerilmiştir. Önerilen uygulamalar, öncelikle Quick, Draw! veri setinin 414 bin örneğe sahip küçük bir alt setinde ön çalışma halinde gerçekleştirilmiş, sonuçlar ve çıkarımları verilmiştir. Sonrasında, bahsi geçen öneriler 3.8 milyonluk daha geniş bir sete yansıtılmıştır. Karşılaştırmalı analizlerde, mesafe özelliklerinin eklenmesinin ve çizgilerin Bézier eğrilerine dönüştürülmesinin belirli sınıflar için tahminleri ciddi seviyelerde iyileştirdiği gözlemlenmiştir. Önerilen füzyon stratejilerinde ise içbükey fonksiyonların çizim tanıma performansını iyileştirmesi yönünde çalışılabilecek bir alan olabileceği görülmüştür.
Özet (Çeviri)
Sketches play an important role in people's ability to record and convey their thoughts. However, even the simplest object drawings are not the same due to people's differences in perception, different experiences, the tools they draw with and many other factors. There are many studies in the literature in the field of sketch recognition with artificial intelligence. With the development of deep learning models, studies in these areas have differentiated and big datasets have been constructed and developed. Within the scope of this thesis, a state-of-the-art method that uses a fusion of Convolutional Neural Networks (CNN) and Textual Convolutional Networks (TCN) with having Self-Supervised structure on Quick, Draw! dataset, has been examined. To increase the Self-Supervised sketch recognition performance, studies have been carried out as using additional features on the data and using different fusion methods. During the entire study, pretext tasks that are designed to help with the difficulty of obtaining labeled samples and with speeding up the training processes were used. In the thesis, (1) adding the“distance between points”and“angle between points”as additional features to the image and stroke data to increase the sketch recognition performance; (2) expressing the sketches with Bézier curves to reduce noise, and (3) weighting with convex and concave functions instead of the existing linear weighted fusion have been proposed, respectively. The proposed applications were first carried out as a preliminary study on a small subset of the Quick, Draw! dataset with 414 thousand samples, and the results and inferences are given. These recommendations were subsequently reflected in a larger set of 3.8 million people. In comparative analysis, it has been observed that adding distance features and transforming the lines into Bézier curves significantly improves the predictions for certain classes. In the proposed fusion strategies, it has been seen that concave functions may be an area that can be studied to improve drawing recognition performance.
Benzer Tezler
- Sketch recognition with few examples
Az örnek ile çizim tanıma
KEMAL TUĞRUL YEŞİLBEK
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. TEVFİK METİN SEZGİN
- El çizimlerinin biyometrik bilgiyle tanınması için iyileştirilmiş bir yöntem geliştirilmesi
Developing an improved method for recognition of sketch with biometric information
BİLAL BEKTAŞ
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMaltepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TURGAY TUGAY BİLGİN
- Active learning for sketch recognition and active scene learning
Çizim tanıma için aktif öğrenme ve aktif sahne öğrenimi
ERELCAN YANIK
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. TEVFİK METİN SEZGİN
- Sayısal video ve çizim verilerinde anlamsal kavram tanıma
Semantic concept recognition in digital video and sketch data
EMEL BOYACI
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA SERT
- A unified framework for stroke fragmentation and sketch recognition
Çizim vuruşlarının bölütlenmesi ve çizim tanıma için bütünleşik bir yaklaşım
RECEP SİNAN TÜMEN
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. TEVFİK METİN SEZGİN