Geri Dön

Offline handwriting recognition using deep learning with emphasis on data augmentation effects

Veri artırma etkilerini vurgulayarak derin öğrenme yöntemleri ile görüntüden el yazısı tanıma

  1. Tez No: 761420
  2. Yazar: FIRAT KIZILIRMAK
  3. Danışmanlar: PROF. DR. AYŞE BERRİN YANIKOĞLU YEŞİLYURT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 66

Özet

Biz bu çalışmada çevrimdışı el yazısı tanıma problemi için eğitim ve test sırasında veri artırma tekniklerinden yararlanan bir derin öğrenme modeli önerdik. Bu alandaki en sık kullanılan el yazısı veri kümesi olan IAM veri kümesi üzerinde derin öğrenme ağının her bir bileşenini değerlendirmek için CNN-BiLSTM ağımızı kullanarak kapsamlı bir analiz yaptık. Derin öğrenme ağı mimarisi ile deneyler yaptık; veri kıtlığı problemini hafifletmek için eğitim zamanı veri artırma ve ağı sentetik veriler ile ön eğitimden geçirmenin etkilerini değerlendirdik. El yazısı görüntüsüne ait eksik ya da hatalı tahmin edilen çıktılardan doğru çıktıyı elde etmek için bir son işleme yöntemi olarak iki farklı test-zamanı veri artırma metotu önerdik. Bu test zamanı veri artırma yöntemi sistemin zaman ve çalışma karmaşıklığını artırsa da hata oranlarını %2.5 oranında düşürmüştür ve bu sebeple gerçek zamanlı tanıma gereksinimlerinin olmadığı, veriyi yığın olarak işleme durumlarında kullanılabilir. Ayrıca, Türkçe dili için çevrimdışı el yazısı tanımanın ilk adımlarını atıyoruz. Bu amaçla 73 farklı kişiden toplanan 2600'den fazla satır görüntüsünden oluşan ilk, satır düzeyinde Türkçe el yazısı veri kümesini oluşturduk. Geliştirdiğimiz derin öğrenme yöntemini bu küme üzerinde de uygulayarak gelecek çalışmaların temel alabilecekleri sonuçlar sağladık; ayrıca, IAM kümesinden bizim topladığımız Türkçe el yazısı veri kümesine öğrenme aktarımı ve her iki veri kümesi ile ortak eğitim gibi yaklaşımları araştırdık. Katkılarımız her iki küme için de yöntemlere ve kümelere dair daha iyi içgörüler sunan itinalı bir hata analizini de kapsar. Bu çabanın bir parçası olarak da bilimsel tekrarlanabilirliği teşvik etmek için önerilen modelimiz ile birlikte değerlendirme kriterlerimizi açık ve eksiksiz bir şekilde sunuyoruz.

Özet (Çeviri)

We have proposed a deep learning model leveraging train and test time data augmentation approaches for the problem of offline handwriting recognition. We made a comprehensive analysis using our CNN-BiLSTM network to provide evaluation results of each component of the network for the IAM dataset, which is the most commonly used handwriting dataset. We experimented with the deep learning network architecture; evaluated the effects of train time data augmentation and pretraining the network with synthetic handwriting images to alleviate the data sparseness problem. We proposed two different test time augmentation methods as post-processing approaches to obtain the correct transcription of the handwriting image out of the partly correct predicted transcriptions. While the test time augmentation increases the time and computational complexity, it reduced the error rate by 2.5% points and thus could be preferred for batch processes when there are no real-time recognition requirements. Furthermore, we attempt the initial steps of offline handwriting recognition for the Turkish language. To this end, we crafted the first, line-level Turkish handwriting dataset, consisting of more than 2600 line images collected from 73 different people. We applied our deep learning method to this dataset to provide baseline results for future studies; besides, we explored approaches including transfer learning from the IAM to the Turkish dataset and joint training with both datasets. Our contributions include an extensive error analysis for both datasets, revealing better insights into methods and datasets. As part of this effort, we provide our evaluation criteria clearly and completely along with our proposed model to encourage scientific reproducibility.

Benzer Tezler

  1. Deep learning based offline handwritten character recognizer systems with a multilingual handwritten character dataset

    Derin öğrenme tabanlı çevirimdışı etkileşimsiz el yazılı karakter tanıma sistemleri ile çok dilli el yazısı karakter veri seti

    GAYE EDİBOĞLU BARTOS

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. YAŞAR HOŞCAN

    DOÇ. DR. ÉVA NAGYNÉ HAJNAL

  2. Combining multible classifiers for pen-based handwritten digit recognition

    Kalem tabanlı elle yazılmış rakam tanıma için sınıflandırıcıların birleştirilmesi

    FEVZİ ALİMOĞLU

  3. Vision based handwritten character recognition

    Görüş tabanlı elyazısı harf tanınması

    ÖZCAN ÖKSÜZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2003

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. UĞUR GÜDÜKBAY

  4. Pattern recognition: Comparison study

    Örnek algılanması: Karşılaştırma çalışması

    FAWZI SALİM

    Yüksek Lisans

    İngilizce

    İngilizce

    2005

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    PROF.DR. MEHMET TOLUN

  5. An Off-line character recognition system for free style handwriting

    Serbest stil el yazısı için çevrim dışı karakter tanıma sistemi

    NAFİZ ARICA

    Yüksek Lisans

    İngilizce

    İngilizce

    1998

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FATOŞ YARMAN