Offline handwriting recognition using deep learning with emphasis on data augmentation effects
Veri artırma etkilerini vurgulayarak derin öğrenme yöntemleri ile görüntüden el yazısı tanıma
- Tez No: 761420
- Danışmanlar: PROF. DR. AYŞE BERRİN YANIKOĞLU YEŞİLYURT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 66
Özet
Biz bu çalışmada çevrimdışı el yazısı tanıma problemi için eğitim ve test sırasında veri artırma tekniklerinden yararlanan bir derin öğrenme modeli önerdik. Bu alandaki en sık kullanılan el yazısı veri kümesi olan IAM veri kümesi üzerinde derin öğrenme ağının her bir bileşenini değerlendirmek için CNN-BiLSTM ağımızı kullanarak kapsamlı bir analiz yaptık. Derin öğrenme ağı mimarisi ile deneyler yaptık; veri kıtlığı problemini hafifletmek için eğitim zamanı veri artırma ve ağı sentetik veriler ile ön eğitimden geçirmenin etkilerini değerlendirdik. El yazısı görüntüsüne ait eksik ya da hatalı tahmin edilen çıktılardan doğru çıktıyı elde etmek için bir son işleme yöntemi olarak iki farklı test-zamanı veri artırma metotu önerdik. Bu test zamanı veri artırma yöntemi sistemin zaman ve çalışma karmaşıklığını artırsa da hata oranlarını %2.5 oranında düşürmüştür ve bu sebeple gerçek zamanlı tanıma gereksinimlerinin olmadığı, veriyi yığın olarak işleme durumlarında kullanılabilir. Ayrıca, Türkçe dili için çevrimdışı el yazısı tanımanın ilk adımlarını atıyoruz. Bu amaçla 73 farklı kişiden toplanan 2600'den fazla satır görüntüsünden oluşan ilk, satır düzeyinde Türkçe el yazısı veri kümesini oluşturduk. Geliştirdiğimiz derin öğrenme yöntemini bu küme üzerinde de uygulayarak gelecek çalışmaların temel alabilecekleri sonuçlar sağladık; ayrıca, IAM kümesinden bizim topladığımız Türkçe el yazısı veri kümesine öğrenme aktarımı ve her iki veri kümesi ile ortak eğitim gibi yaklaşımları araştırdık. Katkılarımız her iki küme için de yöntemlere ve kümelere dair daha iyi içgörüler sunan itinalı bir hata analizini de kapsar. Bu çabanın bir parçası olarak da bilimsel tekrarlanabilirliği teşvik etmek için önerilen modelimiz ile birlikte değerlendirme kriterlerimizi açık ve eksiksiz bir şekilde sunuyoruz.
Özet (Çeviri)
We have proposed a deep learning model leveraging train and test time data augmentation approaches for the problem of offline handwriting recognition. We made a comprehensive analysis using our CNN-BiLSTM network to provide evaluation results of each component of the network for the IAM dataset, which is the most commonly used handwriting dataset. We experimented with the deep learning network architecture; evaluated the effects of train time data augmentation and pretraining the network with synthetic handwriting images to alleviate the data sparseness problem. We proposed two different test time augmentation methods as post-processing approaches to obtain the correct transcription of the handwriting image out of the partly correct predicted transcriptions. While the test time augmentation increases the time and computational complexity, it reduced the error rate by 2.5% points and thus could be preferred for batch processes when there are no real-time recognition requirements. Furthermore, we attempt the initial steps of offline handwriting recognition for the Turkish language. To this end, we crafted the first, line-level Turkish handwriting dataset, consisting of more than 2600 line images collected from 73 different people. We applied our deep learning method to this dataset to provide baseline results for future studies; besides, we explored approaches including transfer learning from the IAM to the Turkish dataset and joint training with both datasets. Our contributions include an extensive error analysis for both datasets, revealing better insights into methods and datasets. As part of this effort, we provide our evaluation criteria clearly and completely along with our proposed model to encourage scientific reproducibility.
Benzer Tezler
- Deep learning based offline handwritten character recognizer systems with a multilingual handwritten character dataset
Derin öğrenme tabanlı çevirimdışı etkileşimsiz el yazılı karakter tanıma sistemleri ile çok dilli el yazısı karakter veri seti
GAYE EDİBOĞLU BARTOS
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YAŞAR HOŞCAN
DOÇ. DR. ÉVA NAGYNÉ HAJNAL
- Combining multible classifiers for pen-based handwritten digit recognition
Kalem tabanlı elle yazılmış rakam tanıma için sınıflandırıcıların birleştirilmesi
FEVZİ ALİMOĞLU
Yüksek Lisans
İngilizce
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiY.DOÇ.DR. ETHEM ALPAYDIN
- Vision based handwritten character recognition
Görüş tabanlı elyazısı harf tanınması
ÖZCAN ÖKSÜZ
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. UĞUR GÜDÜKBAY
- Pattern recognition: Comparison study
Örnek algılanması: Karşılaştırma çalışması
FAWZI SALİM
Yüksek Lisans
İngilizce
2005
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Bölümü
PROF.DR. MEHMET TOLUN
- An Off-line character recognition system for free style handwriting
Serbest stil el yazısı için çevrim dışı karakter tanıma sistemi
NAFİZ ARICA
Yüksek Lisans
İngilizce
1998
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FATOŞ YARMAN