Handwritten mathematical expression recognition using graph grammars
Elyazısı matematik ifadelerin çizge grameri kullanılarak tanınması
- Tez No: 309410
- Danışmanlar: DOÇ. DR. BERRİN YANIKOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2010
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 66
Özet
Bu tez elyazısı matematik ifadelerin tanınmasında çizge grameri kullanımını sunmaktadır. Bu problemin zorluğu normal optik ifade tanıma işleminin sahip olduğu problemlerin üzerine matematik ifadelerin 2 boyutlu yapısının anlamlandırılmasından gelmektedir.Çözümleme işlemi sırasında mümkün olduğunca çok veriyi ifade edebilmek için çizge gramerlerini kullanıyoruz. Yöntemimizin bir diğer yönü de alternatif çözümlemelerin korunup bunlar arasında ön yüksek olabilirliğe sahip olanın kastedilen ifade olarak belirlenmesidir. Olabilirlik değerleri ifadelerin yapısal istatistiklerinden yaklaşık olarak hesaplanmaktadır.Sistemin bölütleme adımı zaman bilgisi ile çizgileri ayırmakta, mesafe bilgini kullanarak gruplandırmaktadır. Daha sonra semboller zaman boyutunda esneklik sağlayabilmek için çevrimdışı özelliklerin kullanıldığı tanıma motorunda tanımlanmaktadır. Tanıma motoru bir destek vektör makinesi ve yapay sinir ağının bir araya getirilmesi olup en iyi 3 tanıma sonucunu döndürmektedir.Çözümleme süreci gramer içerisinde tanımlanmış kuralların ardı ardına uygulanması ile girdiyi temsil eden çizgeye yeni düğümler eklemektedir. İşlem tamamlandığında bir ya da daha fazla düğüm tanımlamış ifadeyi teslim etmektedir.Kullanıcı arabirimimiz karakter tanıma hatalarının düzeltilebilinmesine olanak veren araçları da içermektedir. Arabirim LaTeX MathML ve girdi ifadenin makine yazısı çizimini üretebilmektedir.15 kullanıcıdan 57 farklı ifadeyi ve 70 karakterli bir alfabe için örnek ifadeler ve bir başına karakterler toplanmıştır. Toplam 1710 matematik ifade ve 10500 bir başına karakter bulunmaktadır. Tüm bu örnekler kullanıcıların doğal el yazıları şeklinde toplanmıştır.
Özet (Çeviri)
This thesis presents a graph grammar approach for the recognition of handwritten mathematical expressions. The problem is challenging, as it includes the sub-problems of character recognition (OCR) on top of 2-dimensional structure understanding of mathematical expressions.We use graph grammars for structural understanding of the expressions in order to represent as much information as possible in the parse process. Another important aspect of our system is the fact that all alternative parses are evaluated and the one with maximum likelihood is selected as the intended expression. The likelihoods are estimated according to structural relationships statistics.The segmentation step segments and groups strokes according to timestamps and distance in space respectively. Then, symbols are recognized by the OCR engine which uses offline features to allow for flexibility in time dimension. The extracted features are used in an ANN and SVM combination engine returning top-3 character alternatives and confidence values.The parse process expands the graph by generating new tokens with repeated application of grammar rules. At the end, one or more tokens contain the full expression.Our user interface gives tools to the user to correct OCR errors and it can generate LaTeX and MathML codes and graphical rendering of the input handwritten mathematical expression.An extensive collection of mathematical expression and isolated symbols are collected from 15 users for 57 different expressions from a 70-character alphabet. There are, in total, 1710 mathematical expressions and 10500 isolated characters. All samples are in the natural writing styles of the users.
Benzer Tezler
- Transforming feedback control systems on whiteboard into Matlab via a deep learning based intelligent system
Derin öğrenme tabanlı akıllı bir sistem ile beyaz tahtadaki geribeslemeli kontrol sistemlerinin Matlab ortamına aktarılması
DORUKHAN ERDEM
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Online handwritten mathematical expression recognition
El yazısı ile yazılan matematiksel ifadeleri tanıma
ONUR ÖZDEMİR
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖZLEM ÖZTÜRK
- MathLet v3: Recognizing handwritten mathematical expressions
MathLet v3: Elle yazılmış matematiksel ifadeleri tanıma
UTKU ÜLKÜ
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYŞE BERRİN YANIKOĞLU YEŞİLYURT
- Online handwritten mathematical expression recognition
Çevrim içi el yazısı matematik ifade tanıma
HAKAN AHMET BÜYÜKBAYRAK
Yüksek Lisans
İngilizce
2005
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYTÜL ERÇİL
YRD. DOÇ. DR. BERRİN YANIKOĞLU
- Sayısal donanım gerçeklemesine yönelik el yazısı karakter tanıma sistemi tasarımı
Handwritten character recognation system desing for digital hardware implementation
NURULLAH ÇALIK
Yüksek Lisans
Türkçe
2013
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. VEDAT TAVŞANOĞLU